Niv-AI ra mắt để tối ưu hiệu suất điện năng cho GPU

Niv-AI rời trạng thái ẩn mình để tối ưu hiệu năng điện năng cho GPU

Điện năng là một nguyên liệu thô quan trọng cho trí tuệ nhân tạo, nhưng các kỹ thuật xử lý mới đang vượt xa khả năng quản lý mối quan hệ của các nhà khai thác trung tâm dữ liệu với lưới điện, buộc họ phải giảm hiệu suất tới 30%. "Có quá nhiều điện năng bị lãng phí trong các 'nhà máy' AI này," Giám đốc điều hành Nvidia, Jensen Huang, cho biết trong bài phát biểu quan trọng tại hội nghị khách hàng thường niên GTC của công ty. "Mỗi watt không sử dụng là một khoản doanh thu bị mất," công ty tuyên bố trong buổi thuyết trình hàng năm. Hôm nay, công ty khởi nghiệp Niv-AI đã thoát khỏi trạng thái ẩn mình với 12 triệu đô la tài trợ hạt giống để giải quyết vấn đề này bằng cách đo lường chính xác mức sử dụng điện năng của GPU bằng các cảm biến mới và phát triển các công cụ để quản lý hiệu quả hơn.

Công ty khởi nghiệp có trụ sở tại Tel Aviv này được thành lập vào năm ngoái bởi CEO Tomer Timor và CTO Edward Kizis, và được hỗ trợ bởi Glilot Capital, Grove Ventures, Arc VC, Encoded VC, Leap Forward và Aurora Capital Partners. Công ty từ chối chia sẻ định giá của mình.

Khi các phòng thí nghiệm tiên phong vận hành hàng nghìn GPU phối hợp để đào tạo và chạy các mô hình tiên tiến, thường xuyên xảy ra các đợt tăng đột biến nhu cầu điện năng trong mili giây khi các bộ xử lý chuyển đổi giữa các tác vụ tính toán và giao tiếp với các GPU khác. Những đợt tăng đột biến này gây khó khăn cho các trung tâm dữ liệu trong việc quản lý lượng điện họ lấy từ lưới điện. Để tránh bị thiếu điện, các trung tâm dữ liệu phải trả tiền cho việc lưu trữ năng lượng tạm thời để bù đắp cho các đợt tăng đột biến, hoặc giảm hiệu suất sử dụng GPU của họ. Cả hai trường hợp đều làm giảm lợi tức đầu tư vào các chip đắt tiền. "Chúng ta không thể tiếp tục xây dựng các trung tâm dữ liệu theo cách chúng ta xây dựng chúng hiện nay," Lior Handlesman, một đối tác tại Grove Ventures, người tham gia hội đồng quản trị của Niv cho biết.

Bước đầu tiên trong lộ trình của Niv là hiểu những gì đang xảy ra; công ty hiện đang triển khai các cảm biến cấp rack để phát hiện mức sử dụng điện năng ở cấp độ mili giây trên các GPU mà họ sở hữu và cùng với các đối tác thiết kế. Mục tiêu là hiểu rõ các cấu hình điện năng cụ thể của các tác vụ học sâu khác nhau và phát triển các kỹ thuật giảm thiểu cho phép các trung tâm dữ liệu khai thác nhiều hơn công suất hiện có của họ. Đương nhiên, các kỹ sư hy vọng sẽ xây dựng một mô hình AI dựa trên dữ liệu họ thu thập, với mục tiêu huấn luyện nó để dự đoán và đồng bộ hóa tải điện trên toàn trung tâm dữ liệu - một "phi công phụ" cho các kỹ sư trung tâm dữ liệu. Niv dự kiến sẽ có một hệ thống hoạt động tại một số ít trung tâm dữ liệu của Hoa Kỳ trong vòng sáu đến tám tháng tới.

Đây là một ý tưởng hấp dẫn khi các hyperscaler cố gắng xây dựng các trung tâm dữ liệu mới phải đối mặt với những khó khăn về sử dụng đất và trục trặc trong chuỗi cung ứng. Những người sáng lập xem sản phẩm cuối cùng của họ như một "lớp trí tuệ" còn thiếu giữa các trung tâm dữ liệu và lưới điện. "Lưới điện thực sự lo sợ các trung tâm dữ liệu tiêu thụ quá nhiều điện tại một thời điểm cụ thể," Timor nói với TechCrunch. "Vấn đề chúng tôi đang xem xét là một vấn đề với hai mặt của sợi dây. Một là cố gắng giúp các trung tâm dữ liệu sử dụng nhiều GPU hơn và hy vọng tạo ra nhiều năng lượng hơn từ những gì họ đã trả tiền. Mặt khác, bạn cũng có thể tạo ra các cấu hình điện năng có trách nhiệm hơn giữa các trung tâm dữ liệu và lưới điện."

Tim Fernholz là một nhà báo viết về công nghệ, tài chính và chính sách công. Ông đã theo dõi chặt chẽ sự trỗi dậy của ngành công nghiệp vũ trụ tư nhân và là tác giả của cuốn sách Rocket Billionaires: Elon Musk, Jeff Bezos and the New Space Race. Trước đây, ông là phóng viên cao cấp tại Quartz, trang tin tức kinh doanh toàn cầu, trong hơn một thập kỷ và bắt đầu sự nghiệp của mình với tư cách là một phóng viên chính trị ở Washington, D.C. Bạn có thể liên hệ hoặc xác minh thông tin từ Tim bằng cách gửi email tới tim.fernholz@techcrunch.com hoặc qua tin nhắn được mã hóa tới tim_fernholz.21 trên Signal.