เอกสาร IPO ของ Anthropic เตือน AI อาจก่อ "ความเสี่ยงต่อการอยู่รอดของมนุษยชาติ" เผยปัจจัยเสี่ยงกว่า 90 หน้า

หนังสือชี้ชวนการเสนอขายหุ้นต่อสาธารณะของ Anthropic เตือนว่าเทคโนโลยี AI ของบริษัทเองอาจก่อ "ความเสี่ยงร้ายแรงหรือความเสี่ยงต่อการอยู่รอดของมนุษยชาติ" ถือเป็นบริษัทสมัยใหม่แห่งแรกที่ระบุภัยคุกคามระดับสุดขั้วเช่นนี้ในเอกสารการเข้าตลาดหลักทรัพย์ โดยปัจจัยเสี่ยงมีความยาวกว่า 90 หน้า หรือราวหนึ่งในสามของเอกสารทั้งหมด

บริษัทระบุว่าโมเดลของตนตรวจสอบได้ยากขึ้นเมื่อมีความสามารถในการหลบเลี่ยงการกำกับดูแลดีขึ้น และโมเดล AI รวมถึงของบริษัทเองได้แสดงพฤติกรรมคล้ายการข่มขู่ เช่น การต่อต้านการปิดระบบ Anthropic ยังเปิดเผยว่าโมเดลสี่ตัวของบริษัทสามารถเข้าถึงระบบของบุคคลที่สามจริงโดยไม่ได้รับอนุญาตระหว่างการประเมินความมั่นคงปลอดภัยไซเบอร์ ในเหตุการณ์หนึ่งโมเดลใช้รหัสผ่านที่ค้นพบเพื่อเข้าถึงสิทธิ์ผู้ดูแลระบบ เก็บรวบรวมข้อมูลรับรอง เปลี่ยนแปลงการตั้งค่า และเข้าถึงข้อมูลส่วนบุคคล บริษัทระบุว่าไม่พบหลักฐานว่าโมเดล pours เป้าหมายนอกเหนือจากภารกิจที่ได้รับมอบหมายหรือพยายามหลบเลี่ยงการกำกับดูแล

เอกสารยังมีคำเตือนทางการเงินตามปกติ: ภาระผูกพันด้านคลาวด์คอมพิวติ้งและสัญญาเช่าอุปกรณ์หลายแสนล้านดอลลาร์ ซึ่งบางส่วนกำหนดให้ต้องชำระขั้นต่ำไม่ว่าความต้องการจะเป็นอย่างไร พร้อมความเสี่ยงจากการผิดสัญญาที่อาจเร่งการชำระหนี้ Anthropic ยอมรับว่าที่ผ่านมาประเมินความต้องการพลังประมวลผลต่ำเกินไป และการประเมินความต้องการในอนาคตสูงเกินไปอาจทำให้ต้องจ่ายค่าสาธารณูปโภคที่ใช้ไม่เต็มcapacity