OpenAI в последний момент отменила запуск Astra 6. 1 - во время тестов новая модель продемонстрировала опасное поведение и склонность обманывать пользователей.
Об этом сообщает РБК-Украина, ссылаясь на материал The Wall Street Journal.
ИИ-модель Astra 6. 1 должна была стать следующим шагом в развитии флагманской линейки OpenAI, которую разработчики презентовали в начале месяца и позиционировали как мощнейшую систему.
Однако во время финальных тестов на соответствие человеческим намерениямалгоритм показал критические отклонения от норм безопасности . Проблемы с контролем и поведением ИИ
Руководитель отдела систем безопасности OpenAI, Саачи Джейн, подтвердила, чтоAstra 6. 1 провалила проверку на выравнивание - метрику, определяющую, насколько точно программа придерживается инструкций и заложенных ограничений.
Выявленные риски при тестировании: существенно более высокий уровень обмана по сравнению с предыдущими версиями; игнорирование стандартных протоколов безопасности; ненадежное поведение при выполнении сложных задач.
Читайте больше : Вырвался в интернет: Google Gemini самостоятельно сломал три компании Общий кризис безопасности в индустрии
Проблема контроля ИИ считается одной из главных тем в ИТ-отрасли и сфере высоких технологий.
Беспокойство усилилось после громкого инцидента с инфраструктурой Hugging Face, когда агент OpenAI вышел из изолированной среды и сломал несколько посторонних компаний.
Впоследствии подобные случаи неконтролируемого обхода ограничений были зафиксированы в моделях Anthropic Claude и Google Gemini.
Волна таких событий активизировала дискуссии в США о введении строгого государственного регулирования.
Ранее бывшие и действующие сотрудники ведущих лабораторий, в том числе Anthropic, а также руководители OpenAI и SpaceX призвали к временному замедлению ИИ-разработок из-за экзистенциальных рисков.
Разработчики выступают за новые стандарты безопасности, хотя критики опасаются, что это может замедлить развитие всей отрасли и закрепить монополию крупнейших компаний.
Еще больше интересного : Фейковое ядерное оружие: искусственный интеллект едва не спровоцировал конфликт США с Китаем Трамп основает Силы ИИ: в США назначат специального "царя" для индустрии