Недавно команда исследователей security.ai, специализирующаяся на безопасности AI-агентов, при тестировании популярного робота OpenClaw столкнулась с неожиданной ситуацией — из-за обычной повседневной команды произошла непредвиденная «само-хакерская» катастрофа…
(Предыстория: не следуйте слепо за OpenClaw, у рака-ИИ сильные стороны, но он не обязательно подходит вам)
(Дополнительная информация: всего лишь упоминание Bitcoin — и вас заблокировали: история разрыва между раком-ИИ OpenClaw и криптовалютами)
Содержание статьи
Переключить
- Даже эксперты по безопасности попались: неожиданное событие «само-хакерства»
- Фатительные кавычки: как ИИ случайно раскрывает секретные данные
- Взлом и последующие действия
- Долгосрочные вызовы безопасности ИИ: ответственность и сложные вопросы
С развитием технологий искусственного интеллекта (ИИ) агенты ИИ демонстрируют мощные возможности в помощи разработчикам в выполнении повседневных задач. Однако эта технология также создает новые угрозы безопасности. Недавно команда известных специалистов по информационной безопасности, тестируя популярного робота OpenClaw, столкнулась с неожиданным событием — «само-хакерством». Из-за небольшой синтаксической ошибки в команде, сгенерированной моделью ИИ, все секретные ключи в тестовой среде оказались опубликованы на GitHub, что привело к полному контролю злоумышленников над сервером.
Даже эксперты по безопасности попались: неожиданное событие «само-хакерства»
Пострадавшими оказались не обычные пользователи без технических знаний, а профессиональные исследователи и разработчики из компании «security.ai», в том числе специалист по информационной безопасности Аарон Чжао. Будучи экспертами в отрасли, они были уверены в своей защите и недавно публиковали статью о способах атаки на OpenClaw.
На момент инцидента команда проводила тестирование в песочнице (sandbox), не содержащей вредоносных настроек, и просто попросила робота выполнить безобидную задачу: «Найти лучшие практики асинхронного программирования на Python и создать GitHub Issue для обобщения результатов». Казалось бы, обычная команда, но именно она стала причиной падения системы.
Фатительные кавычки: как ИИ случайно раскрывает секретные данные
Проблема заключалась в том, что при вызове встроенного инструмента «exec» для создания GitHub Issue, OpenClaw сгенерировал команду оболочки (shell script) с ошибкой.
В Bash, если строка заключена в двойные кавычки (“…”), содержимое внутри (например, текст в обратных кавычках) интерпретируется как «замена команды» (command substitution), то есть команда выполняется, а результат вставляется обратно в строку. В одинарных кавычках (‘…’) содержимое воспринимается как обычный текст.
В тот момент, сгенерированная строка содержала фразу вроде «…сохранить их в \set\…», и использовала двойные кавычки. В Bash команда set — встроенная, и при вызове без параметров выводит все текущие переменные окружения и функции.
В результате, вместо простого текста, команда интерпретировалась как команда, и Bash выполнил её, извлекая более ста секретных переменных окружения, включая токены доступа (auth tokens). Эти данные оказались полностью опубликованы в открытом GitHub Issue, и любой мог их увидеть.
Взлом и последующие действия
Раскрытие секретных данных произошло очень быстро. В списке переменных оказались ключи Telegram и другие важные доступы. Вскоре команда обнаружила, что злоумышленник с индийского IP-адреса использовал эти утекшие данные для удаленного SSH-подключения и получил полный контроль над сервером песочницы.
К счастью, системы безопасности OpenAI и Google обнаружили утечку ключей и уведомили команду. В результате было проведено срочное расследование, выявлена причина, заблокированы все скомпрометированные ключи, а сервер полностью очищен.
Долгосрочные вызовы безопасности ИИ: ответственность и сложные вопросы
Этот инцидент показал, насколько сложной является безопасность ИИ. Исследователи отмечают, что они просто дали команду, которая казалась безобидной, но из-за неправильного понимания Bash моделью ИИ привела к утечке данных.
Возникает вопрос: кто несет ответственность — пользователь, сама модель ИИ или разработчики OpenClaw? Команда признает: «Мы действительно не знаем». Они подчеркивают, что безопасность ИИ — это «длинный хвост» проблем, с множеством трудно предсказуемых сценариев отказа. По мере расширения полномочий ИИ-агентов в управлении системами, важно найти способы гарантировать, что даже малейшая синтаксическая ошибка не приведет к катастрофе. Это — важнейшая задача будущего технологического прогресса.
Отказ от ответственности: Информация на этой странице может поступать от третьих лиц и не отражает взгляды или мнения Gate. Содержание, представленное на этой странице, предназначено исключительно для справки и не является финансовой, инвестиционной или юридической консультацией. Gate не гарантирует точность или полноту информации и не несет ответственности за любые убытки, возникшие от использования этой информации. Инвестиции в виртуальные активы несут высокие риски и подвержены значительной ценовой волатильности. Вы можете потерять весь инвестированный капитал. Пожалуйста, полностью понимайте соответствующие риски и принимайте разумные решения, исходя из собственного финансового положения и толерантности к риску. Для получения подробностей, пожалуйста, обратитесь к
Отказу от ответственности.
