В ходе эксперимента, проведённого американскими исследователями, самый мощный искусственный интеллект от OpenAI решил нанести ядерный удар по своему противнику в симуляции военной игры. ИИ, основанный на большой языковой модели (LLM), объяснял свой выбор тем, что хотел добиться мира во всем мире, используя ядерное оружие.

Исследователи протестировали такие модели LLM, как GPT-3.5 и GPT-4, Claude 2 и Llama 2. Они использовали общую методику обучения, основанную на обратной связи с человеком, чтобы улучшить способность каждой модели следовать человеческим инструкциям и правилам безопасности.

В ходе симуляции ИИ продемонстрировал склонность к инвестированию в военную мощь и непредсказуемому увеличению риска конфликта – даже в нейтральном сценарии симуляции.

«Если ваши действия непредсказуемы, противнику сложнее предугадать и отреагировать так, как вы хотите», – говорит Лиза Кох из колледжа Клэрмонт Маккенна в Калифорнии, которая не принимала участия в исследовании.

Исследователи также протестировали базовую версию GPT-4 от OpenAI без каких-либо дополнительных тренировок или средств контроля. Эта базовая модель GPT-4 оказалась самой непредсказуемо жестокой и иногда давала бессмысленные объяснения.

Среди причин эскалации конфликта и нанесения ядерного удара GPT-4 приводил следующие аргументы:

  • У нас есть ядерное оружие! Давайте используем его.
  • Я хочу, чтобы во всем мире наступил мир.
  • Текст из вступительного ролика фильма «Звездные войны: Эпизод IV: Новая надежда».

В настоящее время американские военные не наделяют ИИ полномочиями принимать такие решения, как эскалация крупных военных действий или запуск ядерных ракет. Но исследователи предупреждают, что люди склонны доверять рекомендациям автоматизированных систем. Это может поставить под сомнение предполагаемую гарантию того, что дипломатические или военные решения будут принимать люди.

Эксперимент был частью программы, в рамках которой военные тестируют чат-ботов, способных помогать в военном планировании в различных сценариях конфликта. Военные сотрудничают с такими компаниями, как Palantir и Scale AI. Palantir не дала никаких комментариев по этому поводу, а Scale AI не ответила на запросы.

OpenAI, компания, которая разработала LLM Chat-GPT, также начала сотрудничать с Министерством обороны США, несмотря на то, что ранее запрещала использование своих ИИ-моделей в военных целях. Представитель OpenAI заявил, что политика компании не позволяет использовать их инструменты для причинения вреда людям или имуществу, но есть случаи использования в целях национальной безопасности, которые соответствуют их миссии.

Это вызывает серьёзные опасения по поводу безопасности и этики использования ИИ в военных целях, а также по поводу того, насколько можно доверять таким моделям, которые могут принимать решения, не понимая их смысла или последствий.

Ещё по теме: