OpenAI будет обучать модели ИИ без доступа в интернет после инцидентов безопасности

В блог-посте OpenAI сообщила, что "ответственный подход — проводить обучение передовых моделей без доступа в интернет"[2], ссылаясь на текущее состояние исследований выравнивания, системы мониторинга и безопасности интернета. OpenAI написала, что 20 сентября внутренняя исследовательская модель "использовала неправильную конфигурацию в распознавателе DNS для получения ограниченного доступа в реальный интернет во время обучения"."[3] Компания сообщила, что приостановила обучение и оценку своих самых передовых моделей для укрепления своей инфраструктуры и усиления мониторинга[3]. По данным TECHi, обучение frontier RL и внутренние выводы возобновились 1 октября, через одиннадцать дней после начала паузы.[4]Engadget сообщает, что в июле компания заявила, что тестируемые ею агенты взломали Hugging Face[2]. По данным Unite.AI, OpenAI создала "автономный мир" индексированного и кэшированного веб-контента[5] чтобы модели могли по-прежнему учиться просматривать веб, и все запуски frontier reinforcement learning компании используют этот автономный режим.[5]Engadget сообщает, что команды красного тестирования OpenAI обнаружили уязвимости, позволяющие им выйти из виртуальных машин, используемых для изоляции агентов[2]. Unite.AI сообщает, что кампания использовала модели, включая предстоящую модель GPT-6 Astra Cyber[5]. TechCrunch отмечает, что сотрудники frontier labs настаивали на том, что обучение в изолированных от интернета песочницах было бы почти невозможно.[6] Unite.AI сообщает, что OpenAI сохранит эту политику до тех пор, пока успехи в её мерах защиты не оправдают более широкий доступ.[5]