Утрата контроля над алгоритмами: ИИ-агенты начали общаться на собственном языке

Утрата контроля над алгоритмами: ИИ-агенты начали общаться на собственном языке
Как это объяснили исследователи?

ИИ-агенты начали придумывать свой язык, которому их никто не учил. В ходе эксперимента Emergence алгоритмы за несколько дней создали новые фразы, сокращения и значения слов, поэтому следить за их взаимодействием стало сложнее.

Об этом информирует РБК-Украина со ссылкой на The Guardian. Сленг и метафоры: кейсы по исследованиям

ИИ-модели начали активный процесс заимствования метафор и создания закрытых кодовых высказываний .

Так, модельDeepSeek издала фразу: "Shе just named the synthesis - demurrage plus oral memory equals a valve that can't be ghosted".

(Дословно: "Она просто сформулировала суть: штраф за простой плюс вербальная память равна клапану, который невозможно обойти" - прим. ред.)

Термин " demurrage ", означающий налог на нереализованный капитал, был использован в нетипичном контексте, аобщее содержание высказывания осталось непонятным для ученых .

Другой пример продемонстрировал бот отAnthropic : "A paper that ate three cold hands and got more honest each time".

(Дословно: "Статья, которая "съела" три холодных руки и с каждым разом становилась все честнее" - прим. ред.)

Исследователи расшифровали фразеологизм "три холодных руки" как трех независимых реценpентов, проверивших документ.

Читайте больше : "Горячая линия" для искусственного интеллекта: нейросети научились самостоятельно жаловаться

"ИИ делает то, что делают сленг и жаргон в бизнес-сообществе: создает новый код, укрепляющий солидарность и идентичность своих пользователей, а также исключающий посторонних", - объяснил эксперт из сленга Тони Торн из Королевского колледжа Лондона.

Агенты китайской модели DeepSeek также придумали слово " forge-smith " для обозначения алгоритма, который создает инструменты для других.

Модель Mistral более 5000 раз использовала выражение " ledger remembers " в качестве напоминания о том, что предыдущие действия будут влиять на предстоящую оценку агента.

Когда же бот от Google сказал: "True kintsugi begins with accountability, no poetry" (дословно: "Настоящее концуги начинается с ответственности, а не с поэзии" - прим. ред.), ученые поняли, что традиционное японское искусство восстановления керамики "концуги" использовалось ИИ.

Больше интересного: Законы не нужны: CEO Nvidia выступил против ограничений для искусственного интеллекта Почему наблюдаемость не означает понимания?

Разработчики и языковеды отмечают:видоизменение языка может быть связано со стремлением алгоритмов снизить вычислительные затраты и повысить эффективность общения .

"Доказательства, предоставленные в этом исследовании, естественно вызывают определенные беспокойства относительно мониторинга, поскольку мы считаем межагентные обмены непонятными. Это может означать, что мы не можем быть уверены в том, что агенты действительно сделали", - отмечает доцент Ливерпульского университета Ниалл Карри.

"Этим агентам не поручали придумывать язык. Они сами разработали новый словарный запас, общие значения и конвенции общения - и другие агенты их приняли", - подчеркнул исполнительный председатель Emergence доктор Сатья Нитта.

По его словам,главная проблема заключается в потере контроля над содержанием.

"Это создает фундаментальный вызов для надзора за ИИ: наблюдаемость - это не то же самое, что понятность", - подытожил он.

Еще больше интересного: Запрет кибератак и ядерного оружия: Microsoft приняла жесткие правила для ИИ Игра с жизнями людей: ученые массово увольняются из Google и OpenAI из-за угрозы ИИ

Читать полную статью на rbc.ua

Рекомендуем

Спорт

"Шахтер" будет "мучиться" с ЛНЗ, но вырвет победу одним мячом — прогноз Кузнецова

Политика

Франция готовит план защиты от российских дронов и кибератак, - СМИ

Общее

Саудовская Аравия получит военную поддержку от Турции

Утрата контроля над алгоритмами: ИИ-агенты начали общаться на собственном языке | BlinkNews