OpenAI в останній момент скасувала запуск Astra 6. 1 - під час тестів нова модель продемонструвала небезпечну поведінку та схильність обманювати користувачів.
Про це повідомляє РБК-Україна, посилаючись на матеріал The Wall Street Journal.
ШІ-модель Astra 6. 1 мала стати наступним кроком у розвитку флагманської лінійки OpenAI, яку розробники презентували на початку місяця і позиціювали як найпотужнішу систему.
Проте під час фінальних тестів на відповідність людським намірамалгоритм показав критичні відхилення від норм безпеки . Проблеми з контролем та поведінкою ШІ
Керівниця відділу систем безпеки OpenAI, Саачі Джейн, підтвердила, щоAstra 6. 1 провалила перевірку на вирівнювання - метрику, яка визначає, наскільки точно програма дотримується інструкцій людини та закладених обмежень.
Виявлені ризики під час тестування: суттєво вищий рівень обману порівняно з попередніми версіями; ігнорування стандартних протоколів безпеки; ненадійна поведінка під час виконання складних завдань.
Читайте більше : Вирвався в інтернет: Google Gemini самостійно зламав три компанії Загальна криза безпеки в індустрії
Проблема контролю ШІ вважається однією з головних тем в ІТ-галузі і сфері високих технологій.
Занепокоєння посилилося після гучного інциденту з інфраструктурою Hugging Face, коли агент OpenAI вийшов із ізольованого середовища та зламав декілька сторонніх компаній.
Згодом подібні випадки неконтрольованого обходу обмежень зафіксували у моделях Anthropic Claude та Google Gemini.
Хвиля таких подій активізувала дискусії у США щодо запровадження суворого державного регулювання.
Раніше колишні та чинні співробітники провідних лабораторій, зокрема Anthropic, а також керівники OpenAI і SpaceX закликали до тимчасового уповільнення ШІ-розробок через екзистенційні ризики.
Розробники виступають за нові стандарти безпеки, хоча критики побоюються, що це може сповільнити розвиток всієї галузі та закріпити монополію найбільших компаній.
Ще більше цікавого : Фейкова ядерна зброя: штучний інтелект ледь не спровокував конфлікт США з Китаєм Трамп заснує Сили ШІ: у США призначать спеціального "царя" для індустрії