Sự giao thoa giữa hai драмы lớn nhất của Silicon Valley: LiteLLM và Delve

Hai Vở Kịch Lớn Nhất Thung Lũng Silicon Giao Nhau: LiteLLM và Delve

Đây là một trong những tập phim đời thực ở Thung lũng Silicon dường như được lấy ra từ chương trình châm biếm của HBO. Tuần này, một phần mềm độc hại thực sự tồi tệ đã được phát hiện trong một dự án mã nguồn mở được phát triển bởi LiteLLM, một công ty tốt nghiệp Y Combinator. LiteLLM cung cấp cho các nhà phát triển quyền truy cập dễ dàng vào hàng trăm mô hình AI và cung cấp các tính năng như quản lý chi tiêu. Đây là một thành công đột phá, được tải xuống thường xuyên tới 3,4 triệu lần mỗi ngày, theo Snyk, một trong nhiều nhà nghiên cứu bảo mật theo dõi sự cố này. Dự án có 40 nghìn sao trên GitHub và hàng nghìn nhánh (những người sử dụng nó làm cơ sở để thay đổi và tạo ra sản phẩm của riêng họ). Phần mềm độc hại đã được phát hiện, ghi lại và tiết lộ bởi nhà khoa học nghiên cứu Callum McMahon của FutureSearch, một công ty cung cấp các tác nhân AI để nghiên cứu web.

Phần mềm độc hại xâm nhập thông qua một "phụ thuộc", có nghĩa là phần mềm mã nguồn mở khác mà LiteLLM dựa vào. Sau đó, nó đánh cắp thông tin đăng nhập của mọi thứ mà nó chạm vào. Với những thông tin đăng nhập đó, phần mềm độc hại đã có được quyền truy cập vào nhiều gói và tài khoản mã nguồn mở hơn để thu thập thêm thông tin đăng nhập, v.v. Phần mềm độc hại khiến máy tính của McMahon tắt sau khi anh tải xuống LiteLLM. Sự kiện đó đã thúc đẩy anh ta điều tra và phát hiện ra nó. Trớ trêu thay, một lỗi trong phần mềm độc hại đã khiến máy của anh ta nổ tung. Bởi vì đoạn mã khó chịu đó được thiết kế quá cẩu thả, anh ta (cũng như nhà nghiên cứu AI nổi tiếng Andrej Karpathy) kết luận rằng nó hẳn đã được "vibe coded" (một thuật ngữ chỉ việc viết code một cách vội vàng, không cẩn thận).

Các nhà phát triển LiteLLM đã làm việc không ngừng nghỉ trong tuần này để khắc phục tình hình và tin tốt là nó đã bị bắt khá nhanh, có lẽ chỉ trong vòng vài giờ. Có một phần khác của câu chuyện này mà mọi người trên X không thể ngừng nói về. Tính đến ngày 25 tháng 3 khi chúng tôi xem xét, LiteLLM vẫn tự hào hiển thị trên trang web của mình rằng họ đã vượt qua hai chứng nhận tuân thủ bảo mật lớn, SOC2 và ISO 27001. Nhưng họ đã sử dụng một công ty khởi nghiệp có tên Delve cho những chứng nhận đó.

Delve là công ty khởi nghiệp tuân thủ dựa trên AI của Y-Combinator, bị cáo buộc đánh lừa khách hàng về sự tuân thủ thực sự của họ bằng cách bị cáo buộc tạo dữ liệu giả và sử dụng các kiểm toán viên "rubber stamp" (chấp nhận một cách dễ dãi) báo cáo. Delve đã phủ nhận những cáo buộc này.

Có một điểm sắc thái ở đây đáng hiểu. Các chứng nhận như vậy nhằm mục đích cho thấy rằng một công ty có các chính sách bảo mật mạnh mẽ để hạn chế khả năng xảy ra các sự cố như sự cố này. Chứng nhận không tự động ngăn một công ty, như LiteLLM, bị phần mềm độc hại tấn công. Mặc dù SOC 2 được cho là bao gồm các chính sách xung quanh các phụ thuộc phần mềm, phần mềm độc hại vẫn có thể xâm nhập. Ngay cả như vậy, như kỹ sư Gergely Orosz đã chỉ ra trên X khi anh thấy mọi người cười khúc khích về nó trên mạng, "Ôi trời ơi, tôi tưởng đây LÀ một trò đùa. ... nhưng không, LiteLLM *thực sự* đã được 'Bảo mật bởi Delve'."

Về phần LiteLLM, CEO Krrish Dholakia không có bình luận gì về việc sử dụng Delve. Anh ấy vẫn đang bận rộn dọn dẹp mớ hỗn độn đáng tiếc từ việc trở thành nạn nhân của một cuộc tấn công. "Ưu tiên hiện tại của chúng tôi là cuộc điều tra tích cực cùng với Mandiant. Chúng tôi cam kết chia sẻ những bài học kỹ thuật rút ra được với cộng đồng nhà phát triển sau khi quá trình đánh giá pháp y của chúng tôi hoàn tất," anh nói với TechCrunch.