От сегментации к объяснению: подготовка текстовых отчетов МРТ с ММ.

Искусственная разведка (АИ) значительно усовершенствовала медицинскую съемку, однако непрозрачность моделей глубокого обучения остается проблематичной, что часто снижает доверие медицинских специалистов к диагностике на основе АИ. В результате большое внимание уделяется повышению транспарентности и интерпретируемости моделей ИИ, с тем чтобы повысить доверие поставщиков медицинских услуг к этим технологиям. МЕТОДЫ: В настоящем документе предлагается новый подход к повышению степени объясняемости ИИ при выполнении важнейших медицинских задач путем интеграции современных моделей семантической сегментации с составлением карт на основе атласа и моделей Большого языка (MLM) в целях подготовки всеобъемлющих, доступных для чтения медицинских отчетов. Предлагаемые рамки обеспечивают, чтобы полученные результаты были фактологическими и контекстуально богатыми. Наш план борьбы с галлюцинациями, который сочетает структурированное ИОИН с оперативными ограничениями, является важнейшим новшеством по сравнению с большинством наивных методов подготовки докладов LLM, что повышает прозрачность и интерпретируемость систем АИ. РЕЗУЛЬТАТЫ: Экспериментальные результаты показывают, что модель SegResNet обеспечивает высокую степень точности сегментации, в то время как МЛМ (Gemma, Llama и Mistral) демонстрируют различные сильные стороны в подготовке пояснительных отчетов. Для оценки качества и эффективности разрабатываемых текстовых объяснений использовались многочисленные метрики, такие, как лексическое разнообразие, удобочитаемость, согласованность и информационный охват. ВЫВОДЫ: Этот метод был специально опробован на предмет обнаружения опухоли головного мозга в глиоме, одной из наиболее агрессивных форм рака, и впоследствии применялся к обнаружению множественных склерозных повреждений для дальнейшей проверки его общей применимости в различных сценариях медицинской съемки, что способствовало повышению надежности применения АИ в области здравоохранения.РЕПРОДУКИБИЛИЯ: Полный исходный код для осуществления рамок и воспроизведения результатов имеется в открытом доступе, а также полные примеры трубопровода, показывающие каждый шаг - от сегментации до генерации отчетности - в следующем хранилище: https://github.com/albertovalerio/from-segmentation-to-explanation.