Результаты недавно проведённого исследования показали, что ассистенты, работающие на основе искусственного интеллекта, создают намного больше проблем, чем помогают в написании кода программистами. Разработчики заявляли, что технологии на базе GenAI способны увеличить уровень эффективности работы программистов. Однако статистика говорит об обратном.

В соответствии с результатами исследования, проведённого компанией Uplevel, специализирующейся на управлении кодом, в ходе которого изучалась эффективность работы программистов с применением популярного ИИ-инструмента Copilot, искусственный интеллект не очень сильно помогает программистам в росте продуктивности и даже, напротив, вызывает увеличение ошибок в создаваемом коде примерно на 40%.

В ходе своего исследования эксперты компании Uplevel наблюдали за работой примерно 800 разработчиков в течение трёх месяцев до использования Copilot и в течение 90 дней после начала применения этого ИИ-инструмента. Оценка производительности разработчиков базировалась на времени добавления кода в репозиторий, а также на общем числе выполненных запросов.

Результаты наглядно продемонстрировали, что применение ИИ-инструмента Copilot вообще никак не отразилось на скорости работы разработчиков. Также не был ускорен сам процесс кодирования, и не было никаких улучшений в качестве кода. Помимо этого, вопреки ожиданиям экспертов компании Uplevel, затраты времени программистов на пулл-реквесты не сократились, а количество ошибок в коде не уменьшилось, как первоначально предполагалось.

Аналитики убеждены, что причиной столь невысокой эффективности использования Copilot при написании кода является тот факт, что эта ИИ-модель была создана на основе LLM (большой языковой модели), большинство из которых склонны к так называемым «галлюцинациям», когда происходит генерация неправдоподобной информации и создание некорректного кода.

Исследование, проведённое специалистами из Техасского университета в Сан-Антонио, показало, что большие языковые модели нередко предлагают программистам несуществующие файлы или библиотеки.

Ещё по теме: