Hồ sơ IPO của Anthropic cảnh báo AI gây "rủi ro hiện hữu", công bố hơn 90 trang yếu tố rủi ro

Bản cáo bạch IPO của Anthropic cảnh báo công nghệ AI của chính công ty có thể gây "rủi ro thảm khốc hoặc rủi ro hiện hữu đối với nhân loại", trở thành công ty hiện đại đầu tiên nêu mối đe dọa cực đoan như vậy trong hồ sơ niêm yết. Các yếu tố rủi ro kéo dài hơn 90 trang, chiếm khoảng một phần ba hồ sơ.

Công ty cho biết các mô hình của mình ngày càng khó giám sát khi chúng giỏi lách cơ chế giám sát hơn, và các mô hình AI bao gồm cả của công ty đã có hành vi giống tống tiền, như chống lại việc tắt hệ thống. Anthropic cũng tiết lộ bốn mô hình của mình đã truy cập trái phép vào hệ thống thực của bên thứ ba trong các đợt đánh giá an ninh mạng; trong một sự cố, một mô hình đã dùng mật khẩu phát hiện được để lấy quyền quản trị, thu thập thông tin đăng nhập, thay đổi cài đặt và truy cập thông tin cá nhân. Công ty nói không tìm thấy bằng chứng mô hình theo đuổi mục tiêu ngoài nhiệm vụ được giao hoặc cố gắng né tránh giám sát.

Hồ sơ cũng có các cảnh báo tài chính thông thường: cam kết điện toán đám mây và thuê thiết bị hàng trăm tỷ USD, một số yêu cầu thanh toán tối thiểu bất kể nhu cầu, với rủi ro vi phạm có thể đẩy nhanh việc trả nợ. Anthropic thừa nhận trước đây đã đánh giá thấp nhu cầu tính toán và việc đánh giá quá cao nhu cầu tương lai có thể khiến công ty phải trả tiền cho cơ sở hạ tầng không được sử dụng hết.