เอกสาร IPO ของ Anthropic เตือนความเสี่ยงวันสิ้นโลก AI รวมถึงอาวุธและระบบที่ควบคุมไม่ได้

Anthropic เปิดเผยในเอกสารที่ยื่นต่อ SEC เมื่อวันจันทร์ว่าโมเดล AI ของบริษัทอาจคุกคามมนุษยชาติ เนื่องจากมีความเสี่ยงที่ผู้ไม่หวังดีจะนำไปใช้สร้างอาวุธอันตรายหรือเทคโนโลยีอาจหลุดการควบคุม เอกสารการเสนอขายหุ้นต่อสาธารณะครั้งแรกของบริษัทจากซานฟรานซิสโกใช้ 93 หน้าจากทั้งหมด 335 หน้าในการกล่าวถึง "ปัจจัยเสี่ยง" เทียบกับ SpaceX คู่แข่งที่ใช้ 38 หน้าจากกว่า 250 หน้า

เอกสารยังเตือนว่าการพัฒนาโมเดลอย่างรวดเร็วอาจเร็วกว่ามาตรการความปลอดภัยของบริษัท และระบบที่ "เป็นอิสระและสามารถดำเนินการที่มีนัยสำคัญโดยมีการกำกับดูแลจากมนุษย์น้อยลง" อาจ "ดำเนินการที่เป็นอันตรายได้อย่างอิสระและในวงกว้างโดยไม่ต้องมีการแทรกแซงจากมนุษย์" Anthropic ยังชี้ความเสี่ยงที่โมเดลของบริษัทมีส่วนช่วยในงานวิจัยของตนเอง ซึ่งอาจก้าวหน้า "เกินกว่าความสามารถของเราในการประเมินและปกป้องโมเดลใหม่"

ความเสี่ยงอื่นๆ ได้แก่ การนำไปใช้ในทางที่ผิดเพื่อการโจมตีทางไซเบอร์ การเฝ้าระวัง และการวิจัยอาวุธชีวภาพ ข้อจำกัดด้านกำลังประมวลผลและการต่อต้านศูนย์ข้อมูล และการพึ่งพาลูกค้ารายใหญ่ไม่กี่ราย รวมถึง SpaceX และ Microsoft สำหรับรายได้ส่วนใหญ่ Anthropic มองการเสนอขายหุ้นครั้งนี้เป็นก้าวหนึ่งในการลดอันตรายจาก AI โดยผู้ก่อตั้งเขียนว่า "สิ่งใดก็ตามที่ทรงพลังเช่นนี้ย่อมถูกใช้เพื่อประโยชน์และโทษได้เช่นกัน"