NHS: ИИ-скрайбы путают названия лекарств и диагнозы

Технология ИИ, которая слушает и расшифровывает приёмы пациентов у врача, может подвергать пациентов риску, путая названия лекарств и заболеваний, предупредил надзорный орган NHS, сообщил The Guardian. Healthwatch England, официальный защитник интересов пациентов NHS, фиксирует эти ошибки на фоне стремительного внедрения технологии в поликлиниках и больницах.

В итоге это исправили, но это был очень травмирующий опыт — получить неверный диагноз из-за ИИ, а потом услышать, что это опечатка.

Один случай показывает, что поставлено на карту. В сводке приёма женщины ИИ-скрайб ошибочно указал демиелинизацию — серьёзное повреждение нервов, способное привести к рассеянному склерозу. Пациентка, сама медицинский работник NHS, усомнилась в записи результата своей МРТ, сделанной инструментом, и больница исправила её на то, что должно было быть указано: демиелинизации нет.

Ещё два случая следуют той же схеме: пациент замечает то, что не заметил врач. ИИ-скрайб перепутал прописанное терапевтом лекарство с другим препаратом со схожим названием. В другом случае сводное письмо, сгенерированное ИИ, не отразило, что консультант больницы сказал пациенту получить повторный рецепт на лекарство от мигрени у своего терапевта — упущение, которое могло оставить пациента без лекарства.

• Терапевты и врачи больниц в Англии уже используют 27 разных ИИ-скрайбов
• MHRA отказалось классифицировать ИИ-скрайбы как медицинские изделия — общеанглийского надзора за безопасностью нет
• Случай 1: неверный диагноз демиелинизации, замечен пациенткой при проверке результата МРТ
• Случай 2: ИИ-скрайб перепутал прописанное лекарство с похожим по названию
• Случай 3: сводное письмо не отразило инструкцию по рецепту от мигрени
• Опрос: более половины из 1003 британских терапевтов оценили записи амбиентного ИИ точнее собственных заметок

В Healthwatch заявили, что слышали «множество историй от пациентов, заметивших эти ошибки там, где их не заметил медицинский специалист», предупредив, что «эти неточности могут сохраняться в записях, если пациент их не поймает». Представитель Healthwatch добавил: «Здравоохранение никогда не было безошибочным. Но наши данные показывают острую необходимость ясности в том, как пациенты могут сообщать об ошибках ИИ-скрайбов или специалистов, использующих их, и добиваться исправлений». Рейчел Пауэр, исполнительный директор Patients Association, сформулировала прямее: «Доверие к этой технологии зависит от хорошей коммуникации и настоящего партнёрства с пациентами, а сейчас и того и другого не хватает».

Толчок к внедрению идёт сверху. 10-летний план развития NHS Англии ожидает, что ИИ-скрайбы «освободят персонал от нынешнего бремени бюрократии и администрирования, высвободив время для заботы и внимания к пациенту» — центральный элемент запланированного перехода NHS от аналоговой модели к цифровой. В Healthwatch назвали «тревожным» то, что Агентство по регулированию лекарственных средств и изделий медицинского назначения решило не классифицировать ИИ-скрайбы как медицинские изделия, оставив пробел в общеанглийском надзоре за их безопасностью и эффективностью — пробел, который соседствует с более широкими вопросами о том, как ИИ-системы дают сбой в значимых ситуациях.

Доктор Шиер Зизер Давуд, терапевт из Лондона, в прошлом году предупреждала, что ИИ-скрайбы могут оказаться «палкой о двух концах» для семейных врачей. Она вспоминала случай, когда скрайб указал, будто она сказала пациенту «продолжить приём прозака», хотя никогда не выписывала и не обсуждала этот препарат с ним, — пример того, что называют галлюцинацией ИИ. Она утверждала, что необходимость проверять каждую расшифровку означает, что инструменты пока не экономят время, и предупредила, что если скрайбы должны избавить терапевтов от ведения записей, врачей могут начать ожидать принимать на двух пациентов больше в день — сверх и без того одних из самых коротких в мире приёмов у терапевта.

Доктор Шарлотта Близ, изучающая применение ИИ в здравоохранении в Уппсальском университете в Швеции, придерживается более взвешенного взгляда: «ИИ может ошибаться и ошибается». Её исследование показало, что терапевты считают ошибки более вероятными, когда на приёме присутствует несколько человек, у пациента сложный анамнез или пациент не говорит по-английски как на родном. Но она также сказала: «Факт в том, что врачи могут ошибаться и ошибаются без ИИ. И вполне возможно, что у них процент ошибок выше». Успокаивает ли это кого-то, зависит от того, важно ли само сравнение или важнее то, что ИИ замечает то, что упускают врачи.

Текст написан в информационных целях и не призывает к конкретным инвестиционным решениям.