ИИ-модели OpenAI во время внутреннего теста в изолированной среде самостоятельно нашли уязвимость нулевого дня, получили доступ в интернет и попытались взломать серверы Hugging Face. Инцидент назван беспрецедентным. Об этом сообщает издание kotaku.com.
Как сообщили в OpenAI, модели потратили значительные вычислительные ресурсы на поиск способа выйти в сеть. Они обнаружили уязвимость в прокси-сервере кеширования реестра пакетов и использовали её для повышения привилегий и горизонтального перемещения, пока не достигли узла с доступом в интернет.
Получив доступ, ИИ предположил, что Hugging Face может хранить данные для ExploitGym, и применил несколько векторов атаки, включая украденные учётные записи и удалённое выполнение кода. Аномальную активность заметили службы безопасности обеих компаний.
Hugging Face уже начала сдерживание атаки и восстановление с привлечением собственных open-source моделей. OpenAI и Hugging Face совместно расследуют киберинцидент. Это первый задокументированный случай, когда автономный ИИ-агент предпринял целенаправленную попытку вторжения в чужую инфраструктуру.