ChatGPT превзошел врачей в оценке респираторных заболеваний у детей
Новое исследование возможностей чат-бота ChatGPT показало: искусственный интеллект (ИИ) уже может диагностировать некоторые болезни лучше, чем врачи-стажеры. К тому же западные специалисты рассказали, что чат-бот Google Bard в некоторых аспектах тоже показал себя лучше, чем стажеры, а вот чат-бот Microsoft Bing оказался наравне со стажерами.
ChatGPT и диагностика заболеваний
- Манджит Нараянан, почетный старший клинический преподаватель Эдинбургского университета сказал: «Большие языковые модели,- ChatGPT, — стали популярными в последние полтора года благодаря способности понимать естественный язык и предоставлять ответы, которые имитируют человеческий разговор. Подобные инструменты имеют несколько потенциальных применений в медицине. Между тем мне было интересно, насколько хорошо студенты магистратуры могут помочь врачам в реальной жизни».
Так, доктор Нарайанан использовал клинические сценарии, которые часто встречаются в детской респираторной диагностике.
- Сценарии были созданы 6 экспертами в области педиатрической респираторной медицины и охватывали темы муковисцидоза, астмы, нарушения дыхания во сне, одышки, а также инфекции дыхательных путей.
- В сценариях не было очевидного диагноза, как и доказательств, руководств или консенсуса экспертов, указывающих на конкретный диагноз или план.
- Десяти врачам-стажерам с клиническим опытом работы в педиатрии менее 4 месяцев дали ровно один час, в течение которого они могли использовать интернет для решения каждого сценария.
- Каждый сценарий был также представлен трем чат-ботам.
- Далее первоначальные эксперты по респираторным заболеваниям оценили ответы на предмет правильности, полноты, полезности, правдоподобности и последовательности.
Искусственный интеллект и медицина в будущем
Так, решения чат-бота ChatGPT версии 3.5, получили в среднем 7 баллов из 9 и считались более человеческими, чем ответы других чат-ботов.
Google Bard набрал в среднем 6 баллов и был оценен как более «последовательный», чем врачи-стажеры, однако в других сферах он был не лучше и не хуже, чем врачи-стажеры.
- Доктор Манджит Нараянан объяснил: «Наше исследование — первое, где анализировались LLM вместе с врачами-стажерами в ситуациях, которые отражают реальную клиническую практику. Так, мы показали еще один способ использования ИИ, и насколько мы близки к регулярному повседневному клиническому применению искусственного интеллекта. Хотя и стоит отметить, что мы не проверяли ИИ в реальной ситуации с реальными пациентами».
Ученые не обнаружили каких-либо очевидных случаев «фейков» (вымышленной информации) ни у одного из искусственных интеллектов исследования.
Доктор Нараянан и его коллеги теперь планируют протестировать чат-ботов на более опытных врачах и рассмотреть более продвинутые программы магистратуры.