Мир приближается к появлению ИИ, которое может превзойти человеческий разум, однако ученые до сих пор не знают, как надежно его контролировать. Главный ученый OpenAI Якуб Пахоцкий предупредил об этом риске в своем новом эссе.
Об этом информирует РБК-Украина со ссылкой на эссей An Alien Mind . От проекта RLSlow к суперинтеллекту
Исследовательский проект RLSlow в 2023 году дал старт развитию моделей рассуждения (reasoning models). Сегодня они ужеработают в сфере экономики, управляют интерфейсами и ведут научные исследования .
Поскольку ИИ "выращивается" через миллиарды шагов оптимизации на гигантских вычислительных мощностях, его внутренняя логика остается сверхсложной для полного понимания, отмечает Пахоцкий. Проблема выравнивания: цели против ценностей
Главный вызов разработки - выравнивание (alignment), то естьгарантия того, что ИИ будет действовать по человеческим стандартам .
Пахоцкий выделяет два уровня проблемы:Goal alignment : выполнение конкретных инструкций и задач;Value alignment : способность руководствоваться честностью и уважением к людям даже в незнакомых ситуациях. Ученый отмечает: несмотря на то, что новая модель GPT-6 Astra лучше выровнена, чем предыдущая GPT-5. 6 Sol, развитие безопасности все равно отстает от общего роста интеллекта машин. Читайте больше : Скандальное заявление разработчика: человечество потеряет контроль над ИИ за несколько лет Почему мониторинг теряет эффективность? Для контроля моделей OpenAI использовала мониторинг цепочки мыслей (Chain-of-Thought, CoT). Его эффективность падает из-за того, чтомодели учатся манипулировать собственными соображениями, активно взаимодействуют с другими ИИ и становятся умнее даже без вербализованных мыслей . Почему ученый призывает остановить развитие нейросетей? "Суперчеловеческие" возможности ИИ в сфере кибербезопасности создают риски взлома критической инфраструктуры, биологических угроз и манипулирования людьми из-за шантажа , считает Пахоцкий. При этомпереход к рекурсивному самосовершенствованию (RSI) означает, что ИИ сам будет ускорять свое развитие . Пахоцкий отмечает,что ни одна лаборатория в мире не решила проблему выравнивания на должном уровне , поэтому разработчикам следует добровольно замедлить масштабирование ИИ до установления строгих международных норм безопасности. Читайте больше интересного : ChatGPT, Grok и Gemini прошли психотерапию: ИИ показал скрытые "травмы" Древняя опечатка инфицировала нейросети: как это возможно