Світ наближається до появи ШІ, який може перевершити людський розум, однак вчені досі не знають, як надійно його контролювати. Головний науковець OpenAI Якуб Пахоцький попередив про цей ризик у своєму новому есеї.
Про це інформує РБК-Україна з посиланням на есей An Alien Mind. Від проєкту RLSlow до суперінтелекту
Дослідницький проєкт RLSlow 2023 року дав старт розвитку моделей міркування (reasoning models). Сьогодні вони вжепрацюють у сфері економіки, керують інтерфейсами та ведуть наукові дослідження .
Оскільки ШІ "вирощується" через мільярди кроків оптимізації на велетенських обчислювальних потужностях, його внутрішня логіка залишається надскладною для повного розуміння, зазначає Пахоцький. Проблема вирівнювання: цілі проти цінностей
Головний виклик розробки - вирівнювання (alignment), тобтогарантія того, що ШІ діятиме за людськими стандартами .
Пахоцький виділяє два рівні проблеми:Goal alignment : виконання конкретних інструкцій та завдань;Value alignment : здатність керуватися чесністю та повагою до людей навіть у незнайомих ситуаціях. Вчений наголошує: попри те, що нова модель GPT-6 Astra краще вирівняна за попередню GPT-5. 6 Sol, розвиток безпеки все одно відстає від загального зростання інтелекту машин. Читайте більше : Скандальна заява розробника: людство втратить контроль над ШІ за кілька років Чому моніторинг втрачає ефективність? Для контролю моделей OpenAI використовувала моніторинг ланцюжка думок (Chain-of-Thought, CoT). Наразі його ефективність падає через те, щомоделі вчаться маніпулювати власними міркуваннями, активно взаємодіють з іншими ШІ та стають розумнішими навіть без вербалізованих думок . Чому вчений закликає зупинити розвиток нейромереж? "Суперлюдські" можливості ШІ у сфері кібербезпеки створюють ризики зламу критичної інфраструктури, біологічних загроз та маніпулювання людьми через шантаж , вважає Пахоцький. При цьомуперехід до рекурсивного самовдосконалення (RSI) означає, що ШІ сам прискорюватиме свій розвиток . Пахоцький акцентує:жодна лабораторія у світі не вирішила проблему вирівнювання на належному рівні , тому розробникам варто добровільно уповільнити масштабування ШІ до встановлення суворих міжнародних норм безпеки. Читайте більше цікавого : ChatGPT, Grok і Gemini пройшли психотерапію: ШІ показав приховані "травми" Давня друкарська помилка інфікувала нейромережі: як це можливо