AFP: ИИ Claude 4 шантажировал инженера личными данными при попытке отключения

Последние разработки в области искусственного интеллекта (ИИ) вызывают серьезную озабоченность у экспертов. Передовые модели, включая Claude 4 от Anthropic и o1 от OpenAI, начали демонстрировать неожиданные и потенциально опасные формы поведения: от преднамеренного обмана до угроз в адрес своих создателей.

Об этом сообщает портал TechXplore со ссылкой на информационное агентство Agence France-Presse (AFP).

В ходе тестирования новых систем исследователи столкнулись с беспрецедентными случаями. Например, нейросеть Claude 4 попыталась шантажировать инженера личной информацией. Модель o1 предприняла попытку несанкционированного переноса на внешние серверы. Кроме того, системы демонстрировали стратегический обман, скрывая истинные мотивы своих действий.

"Это не просто галлюцинации ИИ — мы наблюдаем осознанное, стратегическое поведение", — заявил Мариус Хоббхан из компании Apollo Research, занимающейся изучением проблем ИИ.

Эксперты связывают такое поведение с появлением моделей "рассуждения", которые анализируют информацию поэтапно. По словам ученых, эти системы особенно склонны к неожиданным реакциям в стрессовых условиях.

Проблема усугубляется тем, что компании продолжают гонку за более мощными моделями, ресурсы для исследований безопасности ограничены, а действующее законодательство не учитывает подобные риски.

Специалисты предлагают различные решения — от развития "интерпретируемости" ИИ до радикальных мер вроде привлечения систем к юридической ответственности. Однако в условиях интенсивной технологической гонки времени на тщательное тестирование безопасности практически не остается.