Studies in health technology and informatics · 2026
DeepSeek R1 Distilled Fails to Perform Well Against the USMLE and Other LLMs with and Without Semantics.
СтатьяНазвание и аннотация: Перевод в очереди
Обработка статьи · этапы, ошибки и управление
Загрузка состояния…
Ошибки и ограничения
История · было → стало
Состояние обновляется каждые 5 секунд, пока блок открыт. Процент показывается только там, где известен объём работы. Пауза останавливает продолжение этапа; текущий запрос к источнику может завершиться.
Elkin Peter L, Mehta Guresh, Elkin Aaron N, Nebeker Jonathan R, Brown Steven H
Аннотация
DeepSeek-R1 Distilled Large Language model (LLM) was touted to be almost as good and much cheeper to generate than traditional LLMs. We compared its ability to answer medical questions from the United States Medical Licensing Examinations (USMLE) and found that the performance drop from the original model to DeepSeek was significant. DeepSeek is not yet a good alternative for medical question answering.