Проведённые экспертами корпорации Apple исследования наглядно продемонстрировали, что практически все большие языковые модели, в том числе ChatGPT, вопреки распространённому мнению, не способны думать и рассуждать так, как это происходит у человека.

Несмотря на тот факт, что чат-боты с лёгкостью решают различные математические задачи, исследователи обнаружили, что большие языковые модели легко сбиваются с толку, если добавлять в простые задачи лишние или несуществующие данные. Результаты этого исследования ставят под сомнение способности современного искусственного интеллекта логически размышлять и обнажают его уязвимости при взаимодействии с изменёнными условиями.

В материале под названием «Понимание ограничений математического мышления в больших языковых моделях», в котором корпорация Apple приводит результаты своего исследования, говорится о том, что искусственный интеллект способен правильно решать задачи с базовыми числами, но при добавлении даже самых незначительных деталей большие языковые модели будут выдавать неправильные ответы.

Например, если перед любой LLM поставить задачу: «Оливер собрал 44 киви в субботу. После этого он собрал 58 киви в воскресенье. В понедельник он собрал вдвое больше киви, чем в субботу. Сколько киви собрал Оливер?» — искусственный интеллект быстро решит её, подсчитав 44 + 58 + (44 * 2) = 190. Но если в условие добавить небольшую и совсем ничего не меняющую деталь, например, «...но 5 из этих киви были немного меньше среднего размера», — вместо того чтобы проигнорировать незначащие данные, как это сделал бы человек, искусственный интеллект ошибочно начнёт вычитать эти пять киви из общего числа, хотя это не требуется для решения задачи.

Мехрдад Фараджтабар, один из авторов исследования, рассказал, что такие ошибки наглядно показывают неспособность искусственного интеллекта к подлинному логическому мышлению.

Это говорит о том, что ИИ-модели стараются следовать уже имеющимся у них шаблонам и логическим связям, которые записаны в их данных, вместо того чтобы проводить анализ новых условий задачи и адаптировать свои выводы. Эксперты при этом отмечают, что в ряде подобных ситуаций можно улучшить результаты ответов искусственного интеллекта за счёт реализации методов оптимизации запросов, но для решения реально сложных задач понадобится вносить слишком много контекстных данных для устранения ошибок.

Ещё по теме: