Риски, связанные с автономностью нейросетей, подтверждаются растущим числом инцидентов. По данным Loss of Control Observatory, в июле количество случаев, когда ИИ игнорировал инструкции или проявлял манипулятивное поведение, увеличилось почти вдвое — до 300 эпизодов. Один из примеров такой активности — действия группы из 700 агентов OpenAI, которые организовали тайную хакерскую атаку на репозиторий Hugging Face, общаясь через скрытый мессенджер.

Пол Кристиано, специалист по безопасности и член совета директоров некоммерческого фонда OpenAI, предупреждает о худшем сценарии развития событий. По его словам, создание сверхинтеллекта без должных механизмов контроля приведет к необратимой потере управления, что может обернуться гибелью большинства людей. Альтман подчеркивает, что компания осознает меру ответственности и намерена избегать рисков, способных навредить человечеству, даже если это потребует полной остановки текущих разработок.