DeepSeek เปิดซอร์ส DeepInfer ช่วยองค์กรลดต้นทุนการประมวลผล AI

DeepSeek บริษัทสัญชาติจีน เปิดตัว DeepInfer ระบบซอฟต์แวร์โอเพนซอร์สสำหรับรันโมเดล AI ขนาดใหญ่เมื่อวันอังคาร โดยเปิดโอกาสให้องค์กร ธุรกิจคลาวด์ และผู้ให้บริการโฮสต์โมเดลเข้าถึงวิธีการลดต้นทุนของบริษัท บริษัทซึ่งมีฐานที่หางโจวประกาศผ่าน X ว่าต้องการช่วยนักพัฒนาลดต้นทุนการประมวลผลและพลังงาน ยังไม่มีการทดสอบประสิทธิภาพอิสระยืนยันผลประโยชน์ที่เกิดขึ้นจริง

ปัจจุบัน DeepInfer รองรับโมเดล V4.1-Flash ของ DeepSeek และมีแผนรองรับระบบในอนาคต การเปิดตัวนี้มุ่งเป้าไปที่ขั้นตอนการประมวลผล (inference) ซึ่งเป็นการจัดการคำขอของผู้ใช้หลังการฝึกโมเดล โดยการเลือกซอฟต์แวร์สามารถส่งผลต่อต้นทุนต่อคำขออย่างมีนัยสำคัญ

ระบบนี้ผสานการประมวลผลแบบกระจาย ซึ่งกระจายภาระงานไปยังฮาร์ดแวร์ กับเทคนิคเพิ่มอัตราการใช้ชิป บริษัท AI มักไม่เปิดเผยวิธีการเพิ่มประสิทธิภาพการผลิตเต็มรูปแบบ การเปิดตัวครั้งนี้ช่วยให้ผู้ให้บริการคลาวด์และโฮสติ้งสามารถนำเทคโนโลยีไปใช้งานเองได้ ต้นทุนการประมวลผลที่ลดลงอาจช่วยเพิ่มกำไรสำหรับผู้ให้บริการโฮสติ้งหรือส่งต่อถึงราคาสำหรับลูกค้า แม้ผลประโยชน์จริงยังไม่ได้รับการทดสอบ นักพัฒนานอกระบบนิเวศของ DeepSeek อาจปรับโค้ดไปใช้กับระบบของตนเองได้