Google, известный игрок в области искусственного интеллекта, недавно представил свой медицинский инструмент для ответов на вопросы Med-PaLM. Хотя Med-PaLM получил проходной балл на экзамене на получение медицинской лицензии в США, исследования предупреждают, что он все еще не дотягивает до уровня профессионала-человека.
В исследовании, опубликованном в журнале Nature, указано, что Med-PaLM набрал 67,6% баллов по вопросам с множественным выбором в стиле USMLE. Несмотря на это, производительность чат-бота все же ниже, чем у опытных врачей. Важно признать, что возможности Med-PaLM ограничиваются ответами на медицинские вопросы, и им не хватает опыта, необходимого для комплексной диагностики и лечения.
Google признает проблему «галлюцинаций» в лингвистических моделях, которые могут генерировать ложную информацию. Чтобы бороться с этим, Google разработал новую систему оценки, направленную на уменьшение этих неточностей. Последняя версия Med-PaLM, получившая название Med-PaLM 2, продемонстрировала впечатляющие результаты, набрав 86,5% баллов на экзамене USMLE. Однако даже несмотря на эти достижения, ограничения сохраняются из-за статистической природы больших лингвистических моделей.