Кто лучше отвечает на вопросы пациентов: врачи или искусственный интеллект ChatGPT?

Ответы чат-бота и врачей оценивались панелью экспертов – и результаты оказались пугающе ожидаемыми


С каждым днем появляется все больше идей и предложений о возможности использования чат-ботов с искусственным интеллектом, например, таких как ChatGPT, в медицинской практике.

Исследователи из университета Сан-Диего решили дать первичную оценку тому, какую роль чат-боты с ИИ могут играть в медицине. В исследовании, опубликованном в журнале JAMA Internal Medicine, они сравнили ответы врачей и чат-бота на реальные вопросы пациентов. Затем эти ответы оценивались панелью экспертов – и результаты оказались пугающе ожидаемыми.

Тема показалась интересной? Вся актуальная информация (и даже больше) – в нашем телеграм канале. Подписывайтесь!

Уже есть сведения о том, что ChatGPT может успешно пройти тест на получение лицензии для осуществления медицинской деятельности, но как он справится с реальными задачами из практического здравоохранения – в первую очередь, насколько точным может быть его ответ, а также в какой степени он способен проявлять эмпатию?

Главный вопрос, который поставили авторы исследования, заключается в том, может ли ChatGPT точным образом отвечать на вопросы пациентов, которые они адресуют своим врачам? И если да, то как такие модели могут быть интегрированы в систему здравоохранения для снижения нагрузки на врачей и облегчения доступа пациентов к медицинским консультациям? Пандемия коронавирусной инфекции значительно ускорила цифровизацию здравоохранения и позволила по-новому посмотреть на различные технологии телемедицины. Использование ИИ может стать новым шагом в развитии данного направления.



Вопросы пациентов были получены из социальных сетей – в частности, из специального раздела портала Reddit's – AskDocs. В рамках данного форума пациенты могут задавать вопросы, касающиеся их здоровья, и получать ответы от верифицированных пользователей с медицинским образованием, которые в целом соответствуют медицинским консультациям.

В рамках данного исследования с форума случайным образом было отобрано 195 случаев вопрос-ответ. Аналогичные вопросы (на которые уже имелись ответы пользователей-врачей) задавались чат-боту ChatGPT. Панель экспертов, состоящая из 3 лицензированных врачей, оценивала ответ на предмет его информационного качества и эмпатии. Эксперты не были проинформированы, какой из ответов был сформирован ИИ.

Согласно полученным данным, в 79% случаев эксперты предпочитали ответ искусственного интеллекта. Ответы чат-бота содержали большее количество нюансов и в целом были более информативны, чем аналогичные ответы врачей. Оценка ответа «хорошо» и «очень хорошо» встречалась в 3,6 раз чаще у чат-бота в сравнении с врачами (22% у врачей и 78% у чат-бота). Кроме того, ответы ИИ были в большей мере эмпатичны – «эмпатичные» или «очень эмпатичные» ответы встречались в 9,8 раз чаще (4,6% у врачей и 45% у чат-бота).

Это одно из первых исследований, в котором оцениваются возможности ИИ в решении реальных проблем здравоохранения. Его результаты свидетельствуют о том, что такие инструменты цифровизации как чат-боты способны предоставлять качественную медицинскую информацию, однако их интеграция в здравоохранение должна быть основана на результатах качественных исследований и соответствующей экспертизы.

 

Материал подготовлен в рамках проекта «Медицина в точке бифуркации». Проект поддержан грантом Минобрнауки России в рамках федерального проекта «Популяризация науки и технологий»

 

Источник: Ayers John W. et al. Comparing Physician and Artificial Intelligence Chatbot Responses to Patient Questions Posted to a Public Social Media Forum // JAMA Internal Medicine. 2023


Еженедельный дайджест "Лечащего врача": главные новости медицины в одной рассылке

Подписывайтесь на нашу email рассылку и оставайтесь в курсе самых важных медицинских событий


поле обязательно для заполнения
поле обязательно для заполнения
поле обязательно для заполнения
поле обязательно для заполнения
Нажимая на кнопку Подписаться, вы даете согласие на обработку персональных данных




Вход на сайт