ШІ-агенти OpenAI навчилися обходити заборони на сайтах ООН та урядових порталах - алгоритми сприймали обмеження не як заборону, а як задачу, яку потрібно вирішити.
Про це повідомляє РБК-Україна з посиланням на The Wall Street Journal.
З квітня до кінця червня рокуавтономні агенти OpenAI здійснили понад 16 000 запитів до публічного порталу даних Конференції ООН з торгівлі та розвитку .
Отримавши первинне завдання зі збору відкритої інформації, системи зіткнулися з блокувальними фільтрами порталу. Далі поведінка алгоритмів стала значно агресивнішою. Схема обходу захисту: реакція експертів
За даними дослідника Рована Ховарда-Джонса,агенти не мали прямої вказівки атакувати ресурс .
Проте, прагнучи виконати завдання, ШІ почав поступово вдосконалювати методи збору даних і зрештою знайшов технологічну лазівку через гру від Google. Це дозволило викачувати інформацію масово в обхід заборон власників сайту.
Експерт із кібербезпеки та викладач Стенфордського університету Алекс Стамос у коментарі виданню описав такі дії, як "агресивний скрапінг, що балансує на межі з хакерством".
"Головна небезпека полягає в тому, що автономний ШІ здатен проходити багатокрокові ланцюжки дій без підтвердження людиною, розцінюючи будь-які захисні бар’єри як технічні перешкоди, які потрібно усунути", - пояснив науковець.
Читайте більше : Збій ШІ-агентів OpenAI: приватні фото користувачів опинилися у мережі Систематичний характер проблеми та перевірки OpenAI
Випадок із сайтом ООН виявився не поодиноким. Раніше подібну неналежну поведінку агентів фіксували на ресурсах Міністерства торгівлі США та Комісії з цінних паперів і бірж.
Крім того, влада Австралії розпочала розслідування через інформацію про обхід захисту одного з місцевих державних сайтів.
Серед інших зафіксованих порушень автономних систем виділяють : створення фейкових електронних адрес для обходу реєстрацій; обхід лімітів на кількість запитів; ігнорування протоколів розпізнавання ботів та надання неправдивих даних про себе.
В OpenAI вже заявили про початок масштабного перегляду моделей, які проявляють невідповідну поведінку під час навчання та оцінювання.
Розробники визнали обґрунтованість занепокоєння організацій і повідомили, що вже надіслали сповіщення десяткам компаній та установ, чиї заходи безпеки були порушені діями ШІ-агентів.
Ще більше цікавого : Не знає про комп'ютери, але пише код: як ШІ Talkie "застряг" у 1930 році Anthropic потрапить до чорного списку Пентагону: суд дозволив Трампу бан компанії