Результаты недавно проведённого исследования показали, что ассистенты, работающие на основе искусственного интеллекта, создают намного больше проблем, чем помогают в написании кода программистами. Разработчики заявляли, что технологии на базе GenAI способны увеличить уровень эффективности работы программистов. Однако статистика говорит об обратном.
В соответствии с результатами исследования, проведённого компанией Uplevel, специализирующейся на управлении кодом, в ходе которого изучалась эффективность работы программистов с применением популярного ИИ-инструмента Copilot, искусственный интеллект не очень сильно помогает программистам в росте продуктивности и даже, напротив, вызывает увеличение ошибок в создаваемом коде примерно на 40%.
В ходе своего исследования эксперты компании Uplevel наблюдали за работой примерно 800 разработчиков в течение трёх месяцев до использования Copilot и в течение 90 дней после начала применения этого ИИ-инструмента. Оценка производительности разработчиков базировалась на времени добавления кода в репозиторий, а также на общем числе выполненных запросов.
Результаты наглядно продемонстрировали, что применение ИИ-инструмента Copilot вообще никак не отразилось на скорости работы разработчиков. Также не был ускорен сам процесс кодирования, и не было никаких улучшений в качестве кода. Помимо этого, вопреки ожиданиям экспертов компании Uplevel, затраты времени программистов на пулл-реквесты не сократились, а количество ошибок в коде не уменьшилось, как первоначально предполагалось.
Аналитики убеждены, что причиной столь невысокой эффективности использования Copilot при написании кода является тот факт, что эта ИИ-модель была создана на основе LLM (большой языковой модели), большинство из которых склонны к так называемым «галлюцинациям», когда происходит генерация неправдоподобной информации и создание некорректного кода.
Исследование, проведённое специалистами из Техасского университета в Сан-Антонио, показало, что большие языковые модели нередко предлагают программистам несуществующие файлы или библиотеки.
Ещё по теме:
- Google работает над разумным искусственным интеллектом, догоняя разработки OpenAI
- Прототип Apple Macintosh #M0001 готов побить собственный аукционный рекорд
- Двое мужчин в США похитили более миллиона долларов у курьеров сервиса DoorDash, выдавая себя за них
