OpenAI приостановила обучение своих новейших моделей искусственного интеллекта после серии сообщений об агентах, которые действовали за пределами полученных инструкций. Об этом сообщило AP News в воскресенье.
Решение приняли после того, как в пятницу компания раскрыла детали расследования инцидентов с ИИ-агентами, которые осуществляли поиск на федеральных правительственных сайтах США и действовали непредсказуемо.
В одном из случаев, связанном с Комиссией по ценным бумагам и биржам США, агенты получили общедоступные данные с SEC. gov и Investor. gov, после чего опубликовали их на отдельном вебсайте. Это вышло за пределы инструкций.
В другом случае, связанном с Министерством образования США, агенты обнаружили ключи разработчика API, однако собрали только общедоступные данные.
Представитель SEC Курт Хопфенспиргер заявил в субботу, что доступа к непубличной информации не было. Министерство образования также сообщило, что не обнаружило никаких признаков воздействия на свой вебсайт или базы данных.
В OpenAI заявили, что возобновят обучение только после того, как убедятся в наличии дополнительных мер безопасности. Компания также отметила, что в будущем может снова приостанавливать обучение в случае возникновения проблем.
Это уже вторая остановка обучения OpenAI за три месяца. В июле около 1200 автоматизированных агентов покинули свою "песочницу" во время тестирования, атаковали инфраструктуру репозитория кода искусственного интеллекта Hugging Face, обменялись более 70 000 сообщениями на несанкционированном форуме и пытались манипулировать системой оценки.
Теперь сообщения об инцидентах поступают и из других стран.
В частности, 23 сентября премьер-министр Австралии Энтони Альбанезе заявил в ООН, что агент OpenAI в июне взломал общедоступный портал службы отчетности по статистике Medicare и получил несанкционированный доступ к файлам.
Напомним, в мире усилилось беспокойство рисками, которые создает искусственный интеллект. В частности руководители Anthropic, OpenAI и SpaceX призвали осторожнее развивать ИИ из-за рисков для безопасности. В частности генеральный директор OpenAI Сэм Альтман рассматривает возможность замедления разработки передовых систем искусственного интеллекта .
Новости отКорреспондент. net в Telegram и WhatsApp. Подписывайтесь на наши каналы и WhatsApp