Osaurus mang các mô hình AI cục bộ và đám mây lên máy Mac của bạn

Osaurus mang đến cả mô hình AI cục bộ và trên đám mây cho máy Mac của bạn

Khi các mô hình AI ngày càng trở nên phổ biến, các startup đang chạy đua xây dựng lớp phần mềm nằm trên chúng. Một ứng cử viên thú vị trong lĩnh vực này là Osaurus, một máy chủ LLM mã nguồn mở, chỉ dành cho Apple, cho phép người dùng di chuyển giữa các mô hình AI cục bộ khác nhau, cả cục bộ hoặc trên đám mây, trong khi vẫn giữ các tệp và công cụ của họ trên phần cứng của riêng mình. Osaurus phát triển từ ý tưởng về một trợ lý AI trên máy tính để bàn, Dinoki, được đồng sáng lập Osaurus, Terence Pae, mô tả như một kiểu "Clippy được hỗ trợ bởi AI". Khách hàng của Dinoki đã hỏi anh tại sao họ nên mua ứng dụng nếu họ vẫn phải trả tiền cho token - đơn vị sử dụng mà các công ty AI tính phí để xử lý lời nhắc và tạo phản hồi. Điều đó khiến Pae suy nghĩ sâu hơn về việc chạy AI cục bộ. "Đó là cách Osaurus bắt đầu," Pae, trước đây là kỹ sư phần mềm tại Tesla và Netflix, nói với TechCrunch qua một cuộc gọi. Ý tưởng, anh giải thích, là cố gắng chạy một trợ lý AI cục bộ. "Bạn có thể làm hầu hết mọi thứ trên máy Mac của mình cục bộ, như duyệt các tệp của bạn, truy cập trình duyệt, truy cập cấu hình hệ thống của bạn. Tôi nghĩ đây sẽ là một cách tuyệt vời để định vị Osaurus như một AI cá nhân cho các cá nhân." Pae bắt đầu xây dựng công cụ này công khai như một dự án mã nguồn mở, thêm các tính năng và sửa lỗi trên đường đi.

Ngày nay, Osaurus có thể linh hoạt kết nối với các mô hình AI được lưu trữ cục bộ hoặc các nhà cung cấp đám mây như OpenAI và Anthropic. Người dùng có thể tự do chọn mô hình AI họ đang sử dụng và giữ các khía cạnh khác của trải nghiệm AI trên phần cứng của riêng họ, như bộ nhớ riêng của mô hình hoặc tệp và công cụ của họ. Với việc các mô hình AI khác nhau có những thế mạnh khác nhau, lợi thế của hệ thống này là người dùng có thể chuyển sang mô hình AI phù hợp nhất với nhu cầu của họ. Một cấu trúc như vậy khiến Osaurus trở thành cái gọi là "harness" - một lớp điều khiển kết nối các mô hình AI, công cụ và quy trình làm việc khác nhau thông qua một giao diện duy nhất, tương tự như các công cụ như OpenClaw hoặc Hermes. Tuy nhiên, sự khác biệt là các công cụ như vậy thường nhắm đến các nhà phát triển, những người biết cách sử dụng terminal. Và đôi khi, như trong trường hợp của OpenClaw, chúng có thể gây ra các vấn đề và lỗ hổng bảo mật cần lo lắng. Trong khi đó, Osaurus cung cấp một giao diện dễ sử dụng mà người tiêu dùng có thể sử dụng và giải quyết các lo ngại về bảo mật bằng cách chạy mọi thứ trong một sandbox ảo, được cách ly phần cứng. Điều này giới hạn AI trong một phạm vi nhất định, giữ an toàn cho máy tính và dữ liệu của bạn.

Tất nhiên, việc chạy các mô hình AI trên máy của bạn vẫn còn trong giai đoạn đầu, vì nó tốn rất nhiều tài nguyên và phụ thuộc vào phần cứng. Để chạy các mô hình cục bộ, hệ thống của bạn sẽ cần ít nhất 64 GB RAM. Để chạy các mô hình lớn hơn, như DeepSeek v4, Pae khuyên dùng các hệ thống có khoảng 128 GB RAM. Nhưng Pae tin rằng nhu cầu của AI cục bộ sẽ giảm xuống theo thời gian. "Tôi có thể thấy tiềm năng của nó, bởi vì trí thông minh trên mỗi watt - giống như số liệu cho AI cục bộ - đã tăng lên đáng kể. Nó đang trên đường cong đổi mới của riêng mình. Năm ngoái, AI cục bộ hầu như không thể hoàn thành câu, nhưng ngày nay nó thực sự có thể chạy các công cụ, viết mã, truy cập trình duyệt của bạn và đặt hàng từ Amazon [...] nó chỉ ngày càng tốt hơn," anh nói.

Osaurus ngày nay có thể chạy MiniMax M2.5, Gemma 4, Qwen3.6, GPT-OSS, Llama, DeepSeek V4 và các mô hình khác. Nó cũng hỗ trợ các mô hình nền tảng trên thiết bị của Apple, dòng mô hình trên thiết bị LFM của Liquid AI và trên đám mây, nó có thể kết nối với OpenAI, Anthropic, Gemini, xAI/Grok, Venice AI, OpenRouter, Ollama và LM Studio. Là một máy chủ MCP (Model Context Protocol) đầy đủ, bạn có thể cung cấp cho bất kỳ ứng dụng khách tương thích với MCP nào quyền truy cập vào các công cụ của bạn. Ngoài ra, nó đi kèm với hơn 20 plugin gốc cho Mail, Calendar, Vision, macOS Use, XLSX, PPTX, Browser, Music, Git, Filesystem, Search, Fetch, v.v. Gần đây, Osaurus đã được cập nhật để bao gồm cả khả năng giọng nói. Kể từ khi dự án ra mắt gần một năm trước, nó đã được tải xuống hơn 112.000 lần, theo trang web của nó. Hiện tại, những người sáng lập Osaurus (bao gồm cả đồng sáng lập Sam Yoo) đang tham gia vào chương trình tăng tốc khởi nghiệp Alliance có trụ sở tại New York. Họ cũng đang suy nghĩ về các bước tiếp theo, có thể thấy Osaurus được cung cấp cho các doanh nghiệp, như những doanh nghiệp trong lĩnh vực pháp lý hoặc trong lĩnh vực chăm sóc sức khỏe, nơi chạy LLM cục bộ có thể giải quyết các lo ngại về quyền riêng tư. Khi sức mạnh của các mô hình AI cục bộ tăng lên, nhóm tin rằng nó có thể làm giảm nhu cầu về các trung tâm dữ liệu AI. "Chúng tôi đang thấy sự tăng trưởng bùng nổ này trong không gian AI, nơi [các nhà cung cấp AI đám mây] phải mở rộng quy mô bằng cách sử dụng các trung tâm dữ liệu và cơ sở hạ tầng, nhưng chúng tôi cảm thấy rằng mọi người vẫn chưa thực sự thấy được giá trị của AI cục bộ," Pae nói. "Thay vì dựa vào đám mây, họ thực sự có thể triển khai Mac Studio tại chỗ và nó sẽ sử dụng ít điện năng hơn đáng kể. Bạn vẫn có khả năng của đám mây, nhưng bạn sẽ không phải phụ thuộc vào trung tâm dữ liệu để có thể chạy AI đó," anh nói thêm.

Khi bạn mua hàng thông qua các liên kết trong bài viết của chúng tôi, chúng tôi có thể kiếm được một khoản hoa hồng nhỏ.