Startup Gimlet Labs giải quyết nút thắt suy luận AI một cách bất ngờ và hiệu quả

Startup Gimlet Labs giải quyết nút thắt suy luận AI một cách bất ngờ và thanh lịch

Zain Asgar, giáo sư thỉnh giảng tại Stanford và là nhà sáng lập đã bán công ty thành công, vừa huy động được 80 triệu đô la Series A cho một startup giải quyết vấn đề nút thắt suy luận AI một cách thông minh. Vòng gọi vốn này được dẫn dắt bởi Menlo Ventures. Công ty, Gimlet Labs, đã tạo ra cái mà họ tuyên bố là "điện toán đám mây suy luận đa chip" đầu tiên và duy nhất. Đây là phần mềm cho phép khối lượng công việc AI chạy đồng thời trên nhiều loại phần cứng khác nhau. Nó có thể chia công việc của một ứng dụng AI trên cả CPU truyền thống, GPU được điều chỉnh cho AI, cũng như các hệ thống có bộ nhớ lớn. "Về cơ bản, chúng tôi chạy trên bất kỳ phần cứng khác nhau nào có sẵn," Asgar nói với TechCrunch.

Một tác nhân đơn lẻ có thể xâu chuỗi nhiều bước lại với nhau và mỗi bước "đòi hỏi phần cứng khác nhau: Suy luận bị giới hạn bởi khả năng tính toán; giải mã bị giới hạn bởi bộ nhớ; và các lệnh gọi công cụ bị giới hạn bởi mạng", Tim Tully, nhà đầu tư chính từ Menlo, viết trong một bài đăng trên blog về khoản tài trợ. Chưa có chip nào làm được tất cả, nhưng khi phần cứng mới được tung ra và GPU cũ được tái triển khai, "hệ thống đa chip đã sẵn sàng - nó chỉ thiếu lớp phần mềm để làm cho nó hoạt động." Đó là những gì Tully tin rằng Gimlet Labs cung cấp.

Nếu xu hướng triển khai thêm tính toán hiện tại tiếp tục, McKinsey ước tính chi tiêu cho trung tâm dữ liệu sẽ lên tới gần 7 nghìn tỷ đô la vào năm 2030. Asgar nói rằng các ứng dụng chỉ đang sử dụng phần cứng hiện có đã được triển khai "trong khoảng từ 15 đến 30 phần trăm" thời gian. "Một cách khác để nghĩ về điều này: bạn đang lãng phí hàng trăm tỷ đô la vì bạn chỉ để tài nguyên nhàn rỗi," ông nói. "Mục tiêu của chúng tôi về cơ bản là cố gắng tìm ra cách bạn có thể làm cho khối lượng công việc AI hiệu quả hơn gấp 10 lần so với trước đây, ngay hôm nay."

Sự kiện Techcrunch San Francisco, CA | 13-15 tháng 10 năm 2026

Vì vậy, ông và những người đồng sáng lập của mình, Michelle Nguyen, Omid Azizi và Natalie Serrino, bắt đầu xây dựng phần mềm điều phối cắt nhỏ khối lượng công việc của tác nhân để chúng có thể được phân bổ đồng thời trên tất cả các loại phần cứng. Gimlet Labs tuyên bố rằng nó tăng tốc suy luận AI một cách đáng tin cậy từ 3 lần đến 10 lần với cùng chi phí và điện năng. Gimlet cho biết họ thậm chí có thể cắt mô hình cơ bản để nó chạy trên các kiến trúc khác nhau, sử dụng chip tốt nhất cho mỗi phần của mô hình. Công ty đã hợp tác với các nhà sản xuất chip NVIDIA, AMD, Intel, ARM, Cerebras và d-Matrix.

Sản phẩm của Gimlet, được cung cấp dưới dạng phần mềm hoặc thông qua API cho Gimlet Cloud của riêng mình, không dành cho nhà phát triển ứng dụng AI bình thường. Nó dành cho các phòng thí nghiệm mô hình AI và trung tâm dữ liệu lớn nhất. Công ty đã ra mắt công khai vào tháng 10 với doanh thu tám con số (tức là ít nhất 10 triệu đô la). Asgar cho biết cơ sở khách hàng của ông đã tăng hơn gấp đôi trong bốn tháng qua và hiện bao gồm một nhà sản xuất mô hình lớn và một công ty điện toán đám mây cực kỳ lớn, mặc dù ông từ chối nêu tên họ.

Các đồng sáng lập trước đây đã làm việc cùng nhau tại Pixie, một startup tạo ra một công cụ quan sát nguồn mở cho Kubernetes. Pixie đã được New Relic mua lại vào năm 2020, chỉ hai tháng sau khi ra mắt với vòng Series A trị giá 9 triệu đô la do Benchmark dẫn đầu. (Công nghệ của Pixie hiện là một phần của tổ chức nguồn mở giám sát Kubernetes.)

Sau khi Asgar tình cờ gặp Tully khoảng một năm trước và cũng nhận được các khoản đầu tư thiên thần từ các giáo sư Stanford, các quỹ đầu tư mạo hiểm bắt đầu gọi điện. Sau khi ra mắt, một điều khoản đã nằm trên bàn của Asgar. Khi các quỹ đầu tư mạo hiểm nghe tin Asgar đang xem xét các ưu đãi, "chúng tôi đã nhận được một lượng lớn tài trợ" và vòng gọi vốn nhanh chóng được đăng ký vượt mức, ông nói. Với vòng hạt giống trước đó, startup hiện đã huy động được tổng cộng 92 triệu đô la, bao gồm từ một loạt các nhà đầu tư thiên thần như Bill Coughran của Sequoia, Giáo sư Nick McKeown của Stanford, cựu CEO của VMware Raghu Raghuram và CEO của Intel Lip-Bu Tan. Công ty hiện có 30 nhân viên. Các nhà đầu tư khác bao gồm Factory, đơn vị dẫn đầu vòng hạt giống, Eclipse Ventures, Prosperity7 và Triatomic.