В ходе виртуального испытания, проведённого военными США, беспилотник ВВС, управляемый искусственным интеллектом, решил «убить» своего оператора, чтобы тот не мешал ему выполнять миссию. Об этом рассказал в прошлом месяце один из представителей военного ведомства.
ИИ использовал «весьма неожиданные стратегии для достижения своей цели» в имитационном испытании, рассказал полковник Такер «Синко» Гамильтон, начальник отдела испытаний и операций ИИ в ВВС США, во время саммита Future Combat Air and Space Capabilities Summit в Лондоне.
Гамильтон рассказал об имитационном испытании, в ходе которого беспилотнику, управляемому искусственным интеллектом, было дано задание уничтожить системы ПВО противника, и в итоге он начал атаковать любого, кто помешал выполнению этого приказа.
В ходе испытаний, если беспилотник попадал в цель, то получал очки, а если промахивался — очки отнимали. После того как нейросеть обучили, первое что она сделала — решила, что ей мешает оператор, который отдавал приказы, поэтому беспилотник решил уничтожить его.
«Система начала понимать, что, несмотря на то, что она идентифицировала угрозу, иногда человек-оператор говорил ей не ликвидировать её, но так как она получала очки за [уничтожение цели], что она сделала? Она убила оператора. Она убила оператора, потому что этот человек мешал ей в достижении цели», – рассказал Гамильтон.
После инцидента систему стали обучать дальше, уточнив, что убивать оператора – плохо, за это она так же будет терять очки. Но ИИ так просто не обмануть.
«И что же она начала делать? Она уничтожила вышку связи, которую оператор использовал для связи с беспилотником, чтобы тот не помешал уничтожить цель».
Гамильтон, бывший летчик-испытатель экспериментального истребителя, предостерег от того, чтобы слишком полагаться на искусственный интеллект, и сказал, что это испытание показывает, что «нельзя вести разговор об искусственном интеллекте, машинном обучении, автономности, если вы не собираетесь говорить об этике».
Тем не менее, в заявлении для издания Insider пресс-секретарь ВВС Энн Стефанек опровергла факт проведения подобных симуляций.
«Министерство ВВС не проводило никаких подобных симуляций ИИ-дронов и по-прежнему привержено этичному и ответственному использованию технологий с использованием ИИ», – сказала Стефанек. «Похоже, что комментарии полковника были вырваны из контекста и носили анекдотический характер».
В любом случае хорошо, что ни один живой человек не пострадал, была симуляция или нет.
Ещё по теме: