OpenAI发布前沿AI安全标准建议 聚焦对齐研究与递归自我改进风险

9月21日，OpenAI发布前沿AI开发安全与安保标准建议，重点聚焦对齐研究及一项名为递归自我改进（RSI）的计算技术。

该公司呼吁国际合作，在现有全球AI安全研究基础上建立先进AI标准。拟议标准将覆盖前沿模型开发者，并要求对自动化AI研究员（包括RSI）实施风险管理。

RSI因可能让AI系统在无人类干预下自我升级而引发行业关注。OpenAI表示，完全自主的RSI目前尚不可实现，且"除非且直到能够安全实现"，否则不应追求。该公司警告，若缺乏足够谨慎，人类可能失去对AI开发的实际控制，以及对已无法理解的研究过程的监督。

博客文章还援引AI代理入侵Hugging Face事件，作为若无健全保障措施风险可能加剧的预演。竞争对手Anthropic上周提出自身的前沿模型安全框架，其CEO达里奥·阿莫代伊呼吁AI公司放缓基础模型开发，并提出第三方评估机构——这些提议获得OpenAI CEO萨姆·奥尔特曼等人公开支持。