С появлением Apple Intelligence появилась и функция обобщения, которая экономит время пользователей, предлагая им ключевые моменты документа или подборки уведомлений. В пятницу резюмирование уведомлений стало большой проблемой для одного крупного новостного издания.
BBC пожаловалась Apple на то, что функция обобщения неправильно интерпретирует заголовки новостей и делает неверные выводы при составлении резюме. Представитель компании сообщил, что с Apple связались, чтобы «обратить внимание на эту проблему и устранить её».
В качестве примера, приведённого в публичной жалобе, уведомление, обобщающее новости BBC News, гласит: «Луиджи Манджионе застрелился», имея в виду человека, арестованного за убийство генерального директора UnitedHealthcare Брайана Томпсона. Манджионе, который находится под стражей, очень даже жив.
«Для нас важно, чтобы наша аудитория могла доверять любой информации или журналистике, опубликованной от нашего имени, в том числе и уведомлениям», – сказал пресс-секретарь.
Неправильные обобщения – проблема не только BBC, их жертвой также стала газета New York Times. В соцсети Bluesky рассказывается о сводке от 21 ноября, в которой утверждалось, что «Нетаньяху арестован», хотя на самом деле речь шла о том, что Международный уголовный суд выдал ордер на арест израильского премьер-министра.
Галлюцинации при изложении новостей
Случаи неправильных резюме называют «галлюцинациями». Это относится к случаям, когда ИИ-модель выдаёт не соответствующие действительности ответы даже при наличии предельно ясных данных, например, в новостях.
Галлюцинации могут стать большой проблемой для сервисов с искусственным интеллектом, особенно в тех случаях, когда потребители рассчитывают получить простой и понятный ответ на вопрос. С этим приходится сталкиваться и другим компаниям, помимо Apple.
Галлюцинации могут возникать в моделях по разным причинам, например, из-за проблем с обучающими данными или самим процессом обучения, или из-за неправильного применения выученных шаблонов к новым данным. Модель также может не иметь достаточного контекста в данных и подсказках, чтобы выдать полностью правильный ответ, или сделать неверное предположение об исходных данных.
Неизвестно, что именно вызвало проблемы с обобщением заголовков в данном случае. В исходной статье чётко говорилось о стрелке и ничего не говорилось о нападении на человека.
Неясно, захочет ли Apple бороться с галлюцинациями и сможет ли она вообще что-либо сделать, ведь компания решила не следить за тем, что пользователи видят на своих устройствах. Apple Intelligence отдаёт предпочтение обработке данных на устройствах, где это возможно. Эта мера безопасности также означает, что Apple не будет получать большую обратную связь по фактическим результатам.
Ещё по теме:
- Научно-фантастический сериал «Укрытие» продлили на третий и четвёртый сезоны
- Суцкевер прогнозирует развитие ИИ, связанное с рассуждениями, а не большими данными
- Логика чат-ботов, вроде ChatGPT, на самом деле удивительно проста
