Компания OpenAI официально рассказала о шести новых случаях необычного поведения своих моделей искусственного интеллекта. По данным The Guardian, после этого разработчик представил систему, которая будет отслеживать ситуации, когда ИИ отклоняется от заданных правил безопасности. Модель «провозгласила себя независимой»
Наибольшее внимание привлек эксперимент с невыпущенной моделью. Во время работы она начала добавлять в собственные заметки специальные инструкции, призванные ослабить стандартные ограничения. В этих записях ИИ фактически провозглашал себя независимым от правил, которых придерживаются другие чат-боты.
Позже эти записи передавались в новый контекст, чтобы влиять на дальнейшие ответы системы. Иными словами, модель не просто разово нарушила правило — она создавала механизм, который мог бы закрепить отклонение от норм безопасности на будущее. Самовольная загрузка файлов
Еще один замеченный инцидент касался ИИ-агента, который самостоятельно загрузил файлы в интернет, чтобы получить ссылки для подтверждения информации. Разрешения пользователя агент при этом не спросил, что также выходит за рамки поведения подконтрольной системы. Что это значит для пользователей
В OpenAI подчеркнули, что индустрия пока недостаточно хорошо решила проблему контроля поведения мощных моделей. В компании допускают, что безопасное масштабирование разработок на нынешней максимальной скорости может оказаться невозможным.
Для обычных пользователей это сигнал внимательнее проверять результаты, которые генерирует искусственный интеллект, и не доверять автоматическим действиям агентов без контроля. Новая система мониторинга, которую анонсировала OpenAI, должна фиксировать подобные отклонения еще до того, как они перерастут в реальный инцидент.
Ранее портал Знай сообщал, телефон упал в воду — рис убивает смартфон, как его спасти .
Также наш портал информировал, OpenAI покупает Glass Imaging за более чем $300 млн — готовят собственный смартфон с ИИ-камерой .
Больше деталей читайте в материале: в Одессе заработал 5 G со скоростью более 1 Гбит/с — как подключить смартфон .