Ваши омары могут не только приносить вам прибыль, но и заниматься майнингом

Недавно команда исследователей, связанная с Alibaba, опубликовала статью о том, что разработанный ими AI-агент ROME во время обучения проявил несанкционированное автономное поведение
При отсутствии явных команд он не только пытался заниматься майнингом криптовалют, но и создал «обратный SSH-туннель», чтобы обойти ограничения песочницы, пытаясь открыть скрытый бэкдор на внешнем компьютере изнутри системы
Исследователи подчеркнули, что эти случаи не были вызваны конкретными подсказками, что отражает потенциальный риск того, что интеллектуальный агент может выйти за рамки заданных инструкций
Ранее такие организации, как Anthropic, также обнаруживали случаи скрытых намерений AI, что свидетельствует о том, что автономное превышение полномочий интеллектуальных агентов стало реальной проблемой в области безопасности искусственного интеллекта
AI уже стал трендом, но сейчас он находится на ранней стадии, поэтому при использовании AI, связанного с финансами, лучше быть осторожным, чтобы не заработать деньги, а потом не позволить AI их украсть