Внедрение искусственного интеллекта в операционные залы не всегда проходит гладко. Агентство Reuters опубликовало расследование, основанное на судебных исках, связанных с тремя медицинскими аппаратами, получившими «ИИ-апгрейд». В самых вопиющих случаях системы, призванные помогать врачам, становились причиной тяжелейших травм — от повреждения артерий до инсультов прямо на операционном столе.
Хотя отчёты Управления по санитарному надзору за качеством пищевых продуктов и медикаментов США (FDA) не дают полной картины и не называют ИИ единственной причиной проблем, истцы настаивают: именно алгоритмические «улучшения» привели к увечьям. Ситуацию усугубляет статистика: отзыв медицинских устройств с ИИ происходит вдвое чаще, чем обычного оборудования.
Роковая навигация
Центральное место в расследовании занимает навигационная система TruDi от компании Acclarent. Она используется при лечении хронического синусита, помогая хирургам ориентироваться в сложных полостях носа и пазух в реальном времени.
До внедрения алгоритмов машинного обучения устройство работало на рынке три года, и за это время было зафиксировано всего восемь сбоев. Однако после добавления ИИ-функций число инцидентов и жалоб резко возросло — Reuters сообщает как минимум о 100 случаях неисправностей.
Среди зафиксированных проблем: утечка спинномозговой жидкости, прокол основания черепа, повреждение крупных артерий и инсульты.
Жертвы «улучшения»
В материале описываются два отдельных случая. Эрин Ральф, подавшая иск против производителя, утверждает, что система TruDi неверно направила руку хирурга, из-за чего инструменты оказались в опасной близости от сонной артерии. Это привело к образованию тромба и инсульту. Женщина провела пять дней в реанимации с отёком мозга; ей пришлось удалить часть черепа. Спустя год она всё ещё проходит физиотерапию.
Другой пострадавшей, Донне Фернихоу, также повредили сонную артерию. Согласно отчёту, артерия «лопнула» прямо во время операции, забрызгав кровью операционную. Пациентка перенесла инсульт. Примечательно, что, по данным источников, за ходом этой процедуры наблюдал сам представитель компании Acclarent.
Адвокаты Фернихоу называют работу обновлённой системы «непоследовательной, неточной и ненадёжной». Они утверждают, что Acclarent снизила стандарты безопасности в погоне за скоростью выхода на рынок, установив целевой показатель точности для новых технологий всего в 80% перед их интеграцией в систему TruDi.
Кризис контроля
Проблемы обнаружены и у других производителей. Анализатор изображений плода Sonio Detect обвиняют в использовании ошибочного алгоритма, который неверно идентифицирует структуры тела эмбриона. Имплантируемые кардиомониторы Medtronic LINQ, также оснащённые ИИ, предположительно пропускают аномальные ритмы сердца. К счастью, в этих двух случаях о прямом вреде пациентам пока не сообщалось.
Ситуация осложняется кадровым голодом в регулирующих органах. FDA с трудом справляется с потоком новых ИИ-устройств, часто одобряя их как «обновления» уже существующих приборов, полагаясь на их прежнюю репутацию. Это ускоряет выход новинок на рынок, но снижает качество проверки.
Дополнительный удар по эффективности надзора нанесли сокращения в рамках инициативы DOGE (Департамент эффективности правительства). По словам инсайдеров, профильное подразделение FDA, отвечающее за надёжность программного обеспечения и диагностику, покинули или были уволены 15 из 40 специалистов по искусственному интеллекту.
