MedElevator Войти в исследования
← Поиск публикаций

DOI 10.1038/s41598-023-31223-5

Медицинская библиотека · Scientific reports · 2023

Medical image captioning via generative pretrained transformers.

Selivanov Alexander, Rogov Oleg Y, Chesakov Daniil, Shelmanov Artem, Fedulova Irina, Dylov Dmitry V

СтатьяПоддержка исследования: вне правительства СШАПеревод пока не подготовлен

Аннотация

The proposed model for automatic clinical image caption generation combines the analysis of radiological scans with structured patient information from the textual records. It uses two language models, the Show-Attend-Tell and the GPT-3, to generate comprehensive and descriptive radiology records. The generated textual summary contains essential information about pathologies found, their location, along with the 2D heatmaps that localize each pathology on the scans. The model has been tested on two medical datasets, the Open-I, MIMIC-CXR, and the general-purpose MS-COCO, and the results measured with natural language assessment metrics demonstrated its efficient applicability to chest X-ray image captioning.

Для цитирования: Selivanov Alexander, Rogov Oleg Y, Chesakov Daniil, Shelmanov Artem, Fedulova Irina, Dylov Dmitry V. Medical image captioning via generative pretrained transformers.. Scientific reports. 2023. DOI: 10.1038/s41598-023-31223-5.

Предметные рубрики MeSH

Подготовка и перевод публикации
Обработка статьи · этапы, ошибки и управление
Загрузка состояния…

История · было → стало

Состояние обновляется каждые 5 секунд, пока блок открыт. Процент показывается только там, где известен объём работы. Пауза останавливает продолжение этапа; текущий запрос к источнику может завершиться.

Тип публикации указан по данным источника. Уровень доказательности автоматически не присваивается.