Инженеры и исследователи, использующие инструмент для транскрипции аудио Whisper от компании OpenAI, сообщают, что он часто создаёт так называемые «галлюцинации» — фрагменты текста, которые не соответствуют исходной аудиозаписи. По данным Associated Press, исследователь из Мичиганского университета обнаружил вымышленные тексты в 80% проверенных транскрипций этого ИИ-инструмента.

Проблема галлюцинаций в ИИ

Галлюцинации искусственного интеллекта — явление не новое. Исследователи пытаются решить эту проблему с помощью различных методов, включая семантическую энтропию. Однако особенно тревожит то, что инструмент транскрипции Whisper широко используется в медицинских учреждениях, где ошибки могут иметь серьёзные, а иногда и смертельные последствия.

Например, в одном случае спикер на записи сказал: «Две другие девушки и одна леди», а ИИ-инструмент расшифровывает это как «Две другие девушки и одна леди, которые были чёрными». И наконец, в одном из примеров, связанных с медициной, Whisper расшифровал «гиперактивированные антибиотики», которых не существует.

Использование в медицине и потенциальные риски

Несмотря на эти проблемы, компания Nabla, предлагающая ИИ-ассистента для клиницистов, продолжает использовать Whisper. Этот ассистент помогает врачам транскрибировать взаимодействия с пациентами и создавать заметки или отчёты после визита. По заявлению компании, более 45 000 докторов из более чем 85 медицинских организаций пользуются этим инструментом, включая Детскую больницу Лос-Анджелеса и клинику Манкато в Миннесоте.

Хотя Nabla основана на Whisper от OpenAI, технический директор компании Мартин Райсон утверждает, что их инструмент настроен на медицинский язык для точной транскрипции и последующем суммировании текстов. Однако OpenAI рекомендует не использовать Whisper для критически важных транскрипций, предупреждая, что «ошибки в точности могут привести к серьёзным последствиям в контекстах принятия решений».

Проблемы с проверкой точности

Компания, стоящая за Nabla, признаёт склонность Whisper к галлюцинациям и заявляет, что уже работает над решением этой проблемы. Однако отмечается, что они не могут сравнить транскрипцию, созданную ИИ, с оригинальной аудиозаписью, поскольку их инструмент автоматически удаляет исходное аудио для обеспечения конфиденциальности данных и безопасности. Это вызывает дополнительные опасения, так как без оригинала невозможно проверить точность транскрипции.

Отсутствие жалоб не означает отсутствия проблемы

Хотя пока не зарегистрировано жалоб на медицинских работников из-за галлюцинаций их ИИ-инструментов для ведения заметок, эксперты выражают озабоченность. Использование таких технологий без возможности проверки может привести к серьёзным последствиям для пациентов.

Проблема галлюцинаций в искусственном интеллекте представляет серьёзную угрозу, особенно в медицине. Необходимы дополнительные исследования и меры предосторожности для обеспечения точности и надёжности транскрипций. Компании, разрабатывающие подобные инструменты, должны гарантировать возможность верификации результатов, чтобы избежать потенциальных ошибок и связанных с ними рисков для здоровья пациентов.

Ещё по теме: