В соответствии с результатами исследования, опубликованного в авторитетном журнале Natural Communications, модели искусственного интеллекта способны деградировать, превращая оригинальный контент в бессмысленный набор слов всего за несколько поколений.
Проведённое исследование показывает, что существуют серьёзные риски коллапса моделей искусственного интеллекта из-за самообучения и необходимости применения оригинальных источников новой информации и внимательной фильтрации данных для обучения.
Илия Шумаилов, специалист из Оксфордского университета, отметил, что коллапс моделей ИИ наблюдается в ситуациях, когда искусственный интеллект слишком много обучается на данных, которые были сгенерированы им самим или же другим искусственным интеллектом. Под коллапсом при этом понимается явление, при котором происходит разрушение моделей ИИ из-за неразборчивого обучения на синтетических данных.
Исследователи также рассказывают, что генеративные большие языковые модели способны игнорировать некоторые сегменты обучающего набора данных, что становится причиной того, что модель обучается только на части данных, которые ей были предоставлены. Это же приводит к тому, что модель превращается как бы в тень своего прежнего я.
В качестве яркого примера эксперты из Оксфордского университета приводят ситуацию с применением модели генерации текстов OPT-125m. В рамках исследования специалисты ввели в модели текст на тему проектирования церковных зданий XIV века. Во время первого поколения выходной текст, который предоставляла модель, был точным и осознанным, рассказывал о различных зданиях, построенных при разных папах. Но уже к девятому поколению модель вместо церквей обсуждала популяции различных животных, в том числе и зайцев, многих видов из которых вовсе не существует в природе.
В Оксфордском университете также указывают на то, что проблема коллапса моделей искусственного интеллекта становится всё более серьёзной и критичной по мере того, как контент, созданный технологиями ИИ, насыщает глобальную сеть.
Эксперт по компьютерным наукам из Университета Дьюка, Эмили Венгер, рассказала, что коллапс моделей искусственного интеллекта формирует проблемы для справедливости в генеративном ИИ, потому что постепенно разрушающиеся модели ИИ не принимают во внимание менее распространённые элементы в обучающих данных и не отражают сложность и нюансы реального мира.
Ещё по теме:
- Десктопная версия YouTube может потерять до 70% скорости к конфу недели
- Оказалось, что Apple ограничивает работу «Локатора» в Южной Корее
- Apple открывает исследовательскую лабораторию, которая будет заниматься повышением качества и надёжности продуктов
