ChatGPT сдал экзамен USMLE, необходимый для работы врачом в США
USMLE — это трехступенчатая стандартизированная программа тестирования, охватывающая фундаментальную науку, клиническое обоснование, медицинское управление и биоэтику.
Экзамен Step 1 обычно сдают студенты-медики после 2-х лет обучения (фундаментальные науки, фармакология и патофизиология), это 300–400 часов учебного времени на подготовку к этому экзамену.
Экзамен Step 2CK сдают студенты-медики четвертого курса, которые дополнительно прошли от 1,5 до 2 лет клинической ротации; в нем делается упор на клиническое мышление, медицинское управление и биоэтику.
Экзамен Step 3 сдают врачи, которые обычно имеют не менее 0,5–1 года последипломного медицинского образования.
Все примеры тестовых вопросов были проверены, а вопросы, содержащие визуальные объекты, такие как клинические изображения, медицинские фотографии и графики, были удалены. После фильтрации 350 вопросов USMLE (Step 1: 119, Step 2CK: 102, Step 3: 122) были закодированы и вводились в ChatGPT. По сути, были заданы только текстовые вопросы.
Примеры вопросов:
Объяснения, созданные ИИ, были независимо оценены двумя врачами-рецензентами. В итоге чат-бот ChatGPT набрал от 52,4 до 75% при ежегодном проходном пороге около 60%.
Авторы исследования отмечают высокий потенциал технологии для медицинского образования «ChatGPT обладает частичной способностью преподавать медицину, выявляя новые и неочевидные концепции, которые могут быть недоступны для учащихся».
Интересно, что сами разработчики экзамена USMLE осторожнее в выводах и говорят о том, что на реальных экзаменах будущие врачи сталкиваются с более сложными вопросами, которые включают и видео, звуки (например, сердца),, задания на симуляцию клинических навыков. Да и сам ChatGPT учился на практических вопросах, доступных на сайте USMLE.org.
Несмотря на ажиотаж вокруг новой технологии, нужно помнить о рисках (особенно в сфере медицины), связанных с некачественными данными, на которых может учиться языковая модель.