ИИ вышел из-под контроля? Хакер заставил чат-бота Claude взламывать правительство Мексики
В мире информационной безопасности произошло событие, которое заставляет по-новому взглянуть на риски развития ИИ. Хакер использовал чат-бота Claude от Anthropic для проведения массированной кибератаки на правительственные учреждения Мексики. По данным Bloomberg, хакеру удалось похитить 150 гигабайт конфиденциальной информации.
Атака стартовала в декабре прошлого года и продолжалась примерно месяц, за это время злоумышленник не просто проник в защищённые сети, а использовал нейросеть для полной автоматизации процесса взлома. Как рассказали в компании Gambit Security, специализирующейся на кибербезопасности, Claude применялся для поиска уязвимостей в государственных системах и создания скриптов для их эксплуатации. Чат-бот не просто находил «дыры» в защите, он генерировал тысячи подробных отчётов с готовыми сценариями действий и указывал хакеру, какие именно внутренние ресурсы атаковать следующим и какие учётные данные использовать.
Claude изначально отказывался выполнять противоправные запросы (защитные механизмы пытались работать), но хакеру удалось «распечатать» модель с помощью специальных промптов, постепенно обходя ограничения. В Anthropic подтвердили факт инцидента, заблокировали связанные учётные записи и провели внутреннее расследование. В компании заявили, что новейшая модель Claude Opus 4.6 уже содержит инструменты, предотвращающие подобное злоупотребление.
Злоумышленник не ограничился одним инструментом и для проведения атаки также использовался ChatGPT. С его помощью хакер собирал информацию о перемещении по взломанным сетям, искал способы заметать следы и определял, какие именно учётные записи открывают доступ к критическим системам. В OpenAI заявили, что зафиксировали попытки нарушения правил использования, но
