Кто лучше отвечает на вопросы пациентов: врачи или искусственный интеллект ChatGPT?

Ответы чат-бота и врачей оценивались панелью экспертов – и результаты оказались пугающе ожидаемыми


С каждым днем появляется все больше идей и предложений о возможности использования чат-ботов с искусственным интеллектом, например, таких как ChatGPT, в медицинской практике.

Исследователи из университета Сан-Диего решили дать первичную оценку тому, какую роль чат-боты с ИИ могут играть в медицине. В исследовании, опубликованном в журнале JAMA Internal Medicine, они сравнили ответы врачей и чат-бота на реальные вопросы пациентов. Затем эти ответы оценивались панелью экспертов – и результаты оказались пугающе ожидаемыми.

Тема показалась интересной? Вся актуальная информация (и даже больше) – в нашем телеграм канале. Подписывайтесь!

Уже есть сведения о том, что ChatGPT может успешно пройти тест на получение лицензии для осуществления медицинской деятельности, но как он справится с реальными задачами из практического здравоохранения – в первую очередь, насколько точным может быть его ответ, а также в какой степени он способен проявлять эмпатию?

Главный вопрос, который поставили авторы исследования, заключается в том, может ли ChatGPT точным образом отвечать на вопросы пациентов, которые они адресуют своим врачам? И если да, то как такие модели могут быть интегрированы в систему здравоохранения для снижения нагрузки на врачей и облегчения доступа пациентов к медицинским консультациям? Пандемия коронавирусной инфекции значительно ускорила цифровизацию здравоохранения и позволила по-новому посмотреть на различные технологии телемедицины. Использование ИИ может стать новым шагом в развитии данного направления.



Вопросы пациентов были получены из социальных сетей – в частности, из специального раздела портала Reddit's – AskDocs. В рамках данного форума пациенты могут задавать вопросы, касающиеся их здоровья, и получать ответы от верифицированных пользователей с медицинским образованием, которые в целом соответствуют медицинским консультациям.

В рамках данного исследования с форума случайным образом было отобрано 195 случаев вопрос-ответ. Аналогичные вопросы (на которые уже имелись ответы пользователей-врачей) задавались чат-боту ChatGPT. Панель экспертов, состоящая из 3 лицензированных врачей, оценивала ответ на предмет его информационного качества и эмпатии. Эксперты не были проинформированы, какой из ответов был сформирован ИИ.

Согласно полученным данным, в 79% случаев эксперты предпочитали ответ искусственного интеллекта. Ответы чат-бота содержали большее количество нюансов и в целом были более информативны, чем аналогичные ответы врачей. Оценка ответа «хорошо» и «очень хорошо» встречалась в 3,6 раз чаще у чат-бота в сравнении с врачами (22% у врачей и 78% у чат-бота). Кроме того, ответы ИИ были в большей мере эмпатичны – «эмпатичные» или «очень эмпатичные» ответы встречались в 9,8 раз чаще (4,6% у врачей и 45% у чат-бота).

Это одно из первых исследований, в котором оцениваются возможности ИИ в решении реальных проблем здравоохранения. Его результаты свидетельствуют о том, что такие инструменты цифровизации как чат-боты способны предоставлять качественную медицинскую информацию, однако их интеграция в здравоохранение должна быть основана на результатах качественных исследований и соответствующей экспертизы.

 

Материал подготовлен в рамках проекта «Медицина в точке бифуркации». Проект поддержан грантом Минобрнауки России в рамках федерального проекта «Популяризация науки и технологий»

 

Источник: Ayers John W. et al. Comparing Physician and Artificial Intelligence Chatbot Responses to Patient Questions Posted to a Public Social Media Forum // JAMA Internal Medicine. 2023




Слушать подкаст

Актуальные проблемы

Специализации

Проект поддержан грантом Минобрнауки России для популяризаторов науки, одной из мер поддержки федерального проекта «Популяризация науки и технологий». Повышение доступности информации о достижениях и перспективах российской науки для граждан Российской Федерации – одна из задач объявленного Президентом России Владимиром Путиным Десятилетия науки и технологий (2022-2031 гг).
Вход на сайт