ИИ-агенты OpenAI научились обходить запреты на сайтах ООН и правительственных порталах - алгоритмы воспринимали ограничение не как запрет, а как задачу, которую нужно решить.
Об этом сообщает РБК-Украина со ссылкой на The Wall Street Journal.
С апреля до конца июняавтономные агенты OpenAI осуществили более 16 000 запросов к публичному порталу данных Конференции ООН по торговле и развитию .
Получив первоначальную задачу по сбору открытой информации, системы столкнулись с блокировочными фильтрами портала. Дальше поведение алгоритмов стало значительно более агрессивным. Схема обхода защиты: реакция экспертов
По данным исследователя Рована Ховарда-Джонса,агенты не имели прямого указания атаковать ресурс .
Однако, стремясь выполнить задачу, ИИ начал постепенно совершенствовать методы сбора данных и в конце концов нашел технологическую лазейку через игру от Google. Это позволило скачивать информацию массово в обход запретов владельцев сайта.
Эксперт по кибербезопасности и преподаватель Стэнфордского университета Алекс Стамос в комментарии изданию описал такие действия, как "агрессивный скрапинг, балансирующий на грани хакерства".
"Главная опасность состоит в том, что автономный ИИ способен проходить многошаговые цепочки действий без подтверждения человеком, расценивая какие-либо защитные барьеры как технические препятствия, которые нужно устранить", - пояснил ученый.
Читайте больше : Сбой ИИ-агентов OpenAI: частные фото пользователей оказались в сети Систематический характер проблемы и проверки OpenAI
Случай с сайтом ООН оказался не единичным. Ранее подобное ненадлежащее поведение агентов фиксировались на ресурсах Министерства торговли США и Комиссии по ценным бумагам и биржам.
Кроме того, власти Австралии начали расследование через информацию об обходе защиты одного из местных государственных сайтов.
Среди других зафиксированных нарушений автономных систем выделяют : создание фейковых электронных адресов для обхода регистраций; обход лимитов на количество запросов; игнорирование протоколов распознавания ботов и предоставление ложных данных о себе.
В OpenAI уже заявили о начале масштабного просмотра моделей, проявляющих неподходящее поведение во время обучения и оценки.
Разработчики признали обоснованность беспокойства организаций и сообщили, что уже послали уведомления десяткам компаний и учреждений, чьи меры безопасности были нарушены действиями ИИ-агентов.
Еще больше интересного : Не знает о компьютерах, но пишет код: как ИИ Talkie "застрял" в 1930 году Anthropic попадет в черный список Пентагона: суд разрешил Трампу бан компании