DeepSeek mã nguồn mở DeepInfer giúp doanh nghiệp giảm chi phí suy luận AI

DeepSeek, công ty Trung Quốc, hôm thứ Ba ra mắt DeepInfer, hệ thống phần mềm mã nguồn mở để vận hành các mô hình AI quy mô lớn, giúp doanh nghiệp, nhà cung cấp dịch vụ đám mây và công ty lưu trữ mô hình tiếp cận các phương pháp giảm chi phí của công ty. Công ty có trụ sở tại Hàng Châu công bố trên X, cho biết mục tiêu hỗ trợ nhà phát triển giảm chi phí tính toán và tiêu thụ năng lượng. Hiện chưa có bài kiểm tra hiệu năng độc lập nào xác minh lợi ích thực tế.

DeepInfer hiện hỗ trợ mô hình V4.1-Flash của DeepSeek, dự kiến hỗ trợ các hệ thống trong tương lai. Bản phát hành nhắm vào giai đoạn suy luận — xử lý yêu cầu người dùng sau khi mô hình được huấn luyện — nơi việc lựa chọn phần mềm có thể ảnh hưởng mạnh đến chi phí mỗi yêu cầu.

Hệ thống kết hợp suy luận phân tán, phân tán khối lượng công việc trên phần cứng, với các kỹ thuật tăng hiệu suất sử dụng chip. Các công ty AI hiếm khi tiết lộ đầy đủ phương pháp tối ưu hóa sản xuất, và việc phát hành cho phép nhà cung cấp đám mây và lưu trữ tự triển khai công nghệ. Chi phí suy luận thấp hơn có thể cải thiện biên lợi nhuận lưu trữ hoặc chuyển sang giá khách hàng, dù lợi ích thực tế vẫn chưa được kiểm chứng. Nhà phát triển ngoài hệ sinh thái DeepSeek cũng có thể điều chỉnh mã nguồn cho hệ thống của riêng họ.