Anthropic IPO文件警示AI末日风险：武器化与失控系统

Anthropic在周一向SEC提交的文件中披露，其AI模型可能对人类自身构成威胁，包括被恶意行为者用于制造致命武器或技术失控的风险。这家旧金山公司在IPO文件中，335页里有93页专门讨论“风险因素”，而竞争对手SpaceX的250多页文件中仅有38页涉及风险。

文件警告称，模型的快速开发可能超出公司安全措施的控制范围，而系统“变得更加自主、能够在更少人类监督下采取重大行动”可能“在无人干预的情况下独立且大规模地采取有害行动”。Anthropic还指出，其模型可能助力自身研究，进而“超越我们评估和保障新模型的能力”。

其他风险包括模型被滥用于网络攻击、监控和生物武器研究；算力限制和数据中心反对；以及收入严重依赖少数客户（包括SpaceX和微软）。Anthropic将此次IPO定位为降低AI危险的一步，创始人在信中写道：“任何如此强大的事物，既能造福也能为祸。”