Journal of medical signals and sensors · 2025
Исфахан Искусственное Разведывательное событие 2023 года: Сегментация и локализация в магнитных резонансных изображениях пациентов с множественным склерозом.
СтатьяНазвание и аннотация: Машинный перевод · не проверен
Обработка статьи · этапы, ошибки и управление
Загрузка состояния…
Ошибки и ограничения
История · было → стало
Состояние обновляется каждые 5 секунд, пока блок открыт. Процент показывается только там, где известен объём работы. Пауза останавливает продолжение этапа; текущий запрос к источнику может завершиться.
Davanian Fariba, Adibi Iman, Tajmirriahi Mahnoosh, Monemian Maryam, Zojaji Zahra, Montazerolghaem Ahmadreza, Asadinia Mohammad Amin, Mirghaderi Seyed Mojtaba, Esfahani Seyed Amin Naji, Kazemi Mohammad, Iravani Mohammad Reza, Shahriari Kian, Sharifi Nesa, Moharreri Sadaf, Sedighin Farnaz, Rabbani Hossein
Аннотация
Множественный склероз (MS) является одной из наиболее распространенных причин неврологических расстройств у молодых людей. Болезнь возникает, когда иммунная система атакует центральную нервную систему и разрушает миелин нервных клеток. Это приводит к обнаружению нескольких повреждений в изображениях пациентов с магнитным резонансом (MR). Точное определение количества и места повреждений может помочь врачам определить тяжесть и прогресс болезни. МЕТОД: В силу важности этой проблемы эта задача была посвящена сегментации и локализации повреждений в образе пациентов с MR с MS. Цель заключалась в том, чтобы как можно ближе к земным маскам правды расчленить и локализовать повреждения, нанесенные снимками пациентов на магнитно-резонансных изображениях. Результаты: Несколько команд прислали нам свои результаты по сегментации и локализации повреждений в изображениях MR. Большинство групп предпочли использовать методы глубокого обучения. Методы варьировались от простой структуры U-net до более сложных сетей. ЗАКЛЮЧЕНИЕ: Результаты показывают, что методы глубокого обучения могут быть полезными для сегментации и локализации повреждений в изображениях MR. В этом исследовании мы кратко описали набор данных и методы работы групп, участвующих в конкурсе.
Оригинал публикации
Isfahan Artificial Intelligence Event 2023: Lesion Segmentation and Localization in Magnetic Resonance Images of Patients with Multiple Sclerosis.
BACKGROUND: Multiple sclerosis (MS) is one of the most common reasons of neurological disabilities in young adults. The disease occurs when the immune system attacks the central nervous system and destroys the myelin of nervous cells. This results in appearing several lesions in the magnetic resonance (MR) images of patients. Accurate determination of the amount and the place of lesions can help physicians to determine the severity and progress of the disease.
METHOD: Due to the importance of this issue, this challenge has been dedicated to the segmentation and localization of lesions in MR images of patients with MS. The goal was to segment and localize the lesions in the flair MR images of patients as close as possible to the ground truth masks.
RESULTS: Several teams sent us their results for the segmentation and localization of lesions in MR images. Most of the teams preferred to use deep learning methods. The methods varied from a simple U-net structure to more complicated networks.
CONCLUSION: The results show that deep learning methods can be useful for segmentation and localization of lesions in MR images. In this study, we briefly described the dataset and the methods of teams attending the competition.
Читать полный текст на русском ↓
Полный текст на русском
Машинный перевод · не проверен
Множественный склероз (MS) является аутоиммунным заболеванием, которое является основной причиной нервной недостаточности среди молодых людей[. 1 2 3 4 5 6 7 8 9 10 11 ] Болезнь возникает, когда центральные нервные системы атакуют иммунной системой. Основная причина МС до сих пор не раскрыта; однако считается, что факторы, такие как генетические данные, курение или недостаток витамина D, могут способствовать возникновению заболевания.[ 1 5 9 ] В результате этого атаки разрушаются миелиновые оболочки нейронов, что приводит к появлению белых очагов на магнитно-резонансных (МР) изображениях мозга.[ 1 2 3 4 5 6 7 8 ] Эти очаги могут быть видны в перивентрикулярной, белом веществе, жuxtакортической и инфратенториальной частях мозга. Определение размера и количества очагов, а также их расположения в мозге имеет высокую важность для окончательного диагноза МС в соответствии с критериями МакКлодж.[ 1 5 8 9 10 ]
МР-изображения являются наиболее часто используемыми инструментами для диагностики МС. Введя гадолиний, можно показать место и размер очагов на МР-изображениях.[ 1 2 3 5 6 8 9 10 ] Определение очагов и их локализация обычно выполняется вручную. Однако эти задачи сложны и трудоемки, что приводит к мысли, если методы машинного обучения могут помочь в автоматической обработке и локализации очагов.Недавно искусственный интеллект (ИИ) всё более привлекает внимание при диагностике различных заболеваний. ИИ может повысить точность, качество и скорость диагностики на основе различных медицинских изображений. Он также может предсказывать возможное возникновение заболеваний, таких как различные раковые заболевания, у пациента. С этой точки зрения МА в настоящее время играет жизненно важную роль в профилактике различных заболеваний и их финансового и эмоционального бремени для общества, а также в улучшении качества лечения и жизни пациентов[. 12 13 14 ] Принимая во внимание эту реальность, МА также использовалась для диагностики MS, а также для обнаружения, сегментации и локализации повреждений MR для пациентов MS. Использование АИ может повысить качество сегментации повреждений и локализации, что имеет исключительно важное значение для точного диагноза заболевания MS[. 15 16 17 18 19 20 21 22 23 ] Одна из задач, связанных с разработкой новых методов сегментации MS-повреждения на основе АИ, была организована Национальным фондом элитов Исфахана в IAI2023. Цель этого вызова заключалась в предоставлении новых и эффективных методов на основе ИИ для сегментации и локализации поражений в МР-изображениях пациентов с МС. Вызов предполагал сегментацию поражений в 3D МР-изображениях пациентов, максимально приближенную к истинным маскам, а также локализацию поражений и определение их расположения в перивентрикулярной, белом веществе, косой коре или инфрацентральной части мозга. В следующих разделах представлена полная характеристика набора данных, методы оценки, методология команды финалистов и результаты.Комплект данных состоит из изображений FLAIR 81 пациенты, захваченные с помощью MR-системы сканирования (MRI Siemens Avanto System, MRI Siemens System) 1.5 Тесла, Хенкестр Эрланген) в больнице Кашани. 3D-образные изображения были в формате NIFTI с размером 160 × 256 × 236. Для каждого случая было также доступно изображение 3D маски с одинаковым размером соответствующего изображения MR, в котором повреждения были локализованы. Изображение содержало повреждения в перивентральных, белых, яхтакортических или инфантитенторных частях мозга, где повреждения в различных местах могли быть идентифицированы по их силе в серых изображениях. Лишь несколько кусков 3D MR изображения пациента с MS содержали повреждения. Пример магнитно-резонансного среза с несколькими поражениями, а также соответствующий срез маски (в цвете и оттенках серого) представлен на рисунке 1. Поражения в разных частях мозга различались по интенсивности (интенсивность 1 до интенсивности 4).
Магнитно-резонансный срез пациента с несколькими поражениями в разных частях мозга и соответствующий срез маски в цвете и оттенках серого, который показывает сегментированные поражения. Лезии в разных частях мозга демонстрируются с разной интенсивностью или цветами, где в цветном изображении красный, зеленый, синий и желтый цвета соответствуют лезиям в перивентрикулярной, белом веществе, космической и инфрацентральной областях соответственно.
В фазе обучения команды получили 50 3D МР-изображений и их соответствующие маски для тренировки своих сетей. Затем командам был предоставлен первый тестовый набор данных, включающий 25 3D МР-изображений без соответствующих масок истинной версии. Задача заключалась в сегментации различных лезий и определении их местоположения в мозге. Полученные результаты были всесторонне оценены, и выбранные команды были приглашены на финальный этап конкурса, проходивший в отеле Abbasi. Финалисты получили второй тестовый набор данных, содержащий оставшиеся 6 3D MR-изображения без их истинных масок.
Оценка методов
После получения первого тестового набора данных команды должны были отправить полученные маски для MR-изображений первого тестового набора данных, а также подробный отчет, включающий их методику и детали подхода. Результаты были оценены как количественно, так и качественно. Качество методов оценивалось по следующим критериям:
Новизна метода
Качество и ясность отчёта
Рациональность метода и настройки параметров
Визуальная производительность сегментации и локализации опухолей.
Результаты также оценивались количественно по следующим критериям:
1. Средний Dice-счёт, определяемый как
2. Средняя чувствительность, определяемая как
3. Средняя точность определяется как
Где
T p — количество пикселей, содержащих опухоль и корректно сегментированных, F p — количество пикселей, не содержащих опухоль и неправильно сегментированных, а F N — количество пикселей, содержащих опухоль и неправильно сегментированных.
Кроме того, точность локализации опухолей была рассчитана с помощью измерения расстояния центра масс. Упомянутый критерий вычисляет евклидово расстояние между геометрическим центром масок истинной версии опухолей и геометрическим центром сегментированных опухолей.Критерии были рассчитаны для каждого из 4 интенсивностей (病变 в перивентрикулярной, белом веществе, юкстакортической или инфрацентральной части мозга). На основе метрик финалистов пригласили на вторую и последнюю фазу конкурса. Финалисты получили второй набор тестовых данных, включающий 6 3D МР-изображений без истинных масок и получили результаты по сегментации и локализации лезий. Результаты были оценены качественно и количественно с использованием указанных метрик. На основе оценок финалистов были ранжированы следующим образом:
Первая команда: Legends
Вторая коман: AITech.
Первая команда: Legends
Вторая команда: AITech.Детали методов финалистов, а также их результаты, представлены в следующих разделах.
Описание методов
Методы финалистов кратко рассмотрены в следующих подразделах.
Примечания
Для задачи сегментации использовался сеть из пяти последовательных слоёв конволюционных слоёв. Количество фильтров конволюционных слоёв от первого до пятого составляло 32, 64, 128, 256 и 512 соответственно. Входные данные сети на каждом этапе были изображением размером 128 × 128. В итоге выход сети был получен с помощью функции активации soft-max.
Для задачи локализации использовались сети LSTM (Long Short-Term Memory). Следовательно, в каждой слоё предыдущей сети был добавлен LSTM-сети. Количество ячеек памяти LSTM-сети в каждом слое было равно половине конволюционных фильтров, используемых в этом слое. Структура разработанной сети Legends иллюстрируется на Рисунке 2.
Архитектура сети, используемой Legends. LSTM: Long short-term memory
AITech
Команда AITech использовала архитектуру U-Net с различными шагами сокращения и расширения и размерами фильтров для сегментации и локализации опухолей. Значения в изображениях маски были нормализованы в интервал (0 1) (вместо 0–4) для обработки с использованием функции активации sigmoid в последнем слое сети. Архитектура сети, используемой AITech, показана на рисунке 3.
Архитектура сети, используемой AITech
Результаты финалистской команды
Результаты финалистов для первого и второго тестовых наборов данных представлены в таблицах 1–4. Для более подробного объяснения результатов, представленных в таблицах 1-4, используются следующие определения:
Таблица 1 Качественные результаты финалистов для первого тестового набора данных
Группа Dice Sensitivity Precision
Легенда Intensity #1 0.51 0.144 0.384
Легенда Intensity #2 0.186 0.144 0.384
Легенда Intensity #3 0.241 0.199 0.365
Легенда Intensity #4 0.207 0.225 0.328
AITech Intensity #1 0.468 0.133 0.133
AITech Intensity #2 0.133 0.151 0.146
AITech Intensity #3 0.107 0.082 0.276
AITech Intensity #4 0.000 0.000 0.000
Качественные результаты финалистов для первого тестового набора данных
Таблица 2 Качественные результаты финалистов для второго тестового набора данных
Группа Dice Sensitivity Precision
Легенда Intensity #1 0.526 0.578 0.538
Легенда Intensity #2 0.140 0.096 0.357
Легенда Intensity #3 0.251 0.197 0.357
Легенда Intensity #4 0.167 0.121 0.317
AITech Intensity #1 0.482 0.598 0.461
AITech Intensity #2 0.177 0.195 0.202
AITech Intensity #3 0.241 0.210 0.339
AITech Intensity #4 0.000 0.000 0.000
Качественные результаты финалистов для второго тестового набора данных dataset
Таблица 3 Сегментированные и обнаруженные опухоли для второго тестового набора данных
Группа | Количество истинно положительных опухолей | Количество обнаруженных опухолей | Количество сегментированных опухолей
Легенда Интенсивность #1 | 77 | 57 | 171
Интенсивность #2 | 68 | 27 | 110
Интенсивность #3 | 50 | 29 | 160
Интенсивность #4 | 18 | 6 | 20
AITech Интенсивность #1 | 77 | 59 | 178
Интенсивность #2 | 68 | 29 | 119
Интенсивность #3 | 50 | 22 | 72
Интенсивность #4 | 18 | 0 | 0
Сегментированные и обнаруженные опухоли для второго тестового набора данных
Таблица 4 Средние расстояния центров опухолей, обнаруженных в каждом изображении второго тестового набора данных для различных интенсивностей
Группа | Изображение #1 | Изображение #2 | Изображение #3 | Изображение #4 | Изображение #5 | Изображение #6
Легенда Интенсивность #1 | 23.7 | 36.01 | 50.52 | 12.91 | 46.68 | 1.44
Интенсивность #2 | 73.66 | 71.67 | 80.38 | 50.71 | 45.16 | 34.66
Интенсивность #3 | 22.50 | 51.00 | 1.42 | 68.05 | 50.81 | 34.30
Интенсивность #4 | 100 | 33.87 | - | 72.54 | 100 | 50.41
AITech Интенсивность #1 | 13.57 | 32.84 | 34.02 | 18.12 | 37.38 | 1.00
Интенсивность #2 | 60.23 | 71.76 | 60.21 | 54.59 | 44.83 | 67.04
Интенсивность #3 | 71.64 | 50.27 | 3.27 | 51.37 | 56.93 | 50.39
Интенсивность #4 | 100 | 100 | - | 100 100 100
Среднее расстояние между обнаруженными повреждениями центроида в каждом из изображений второго набора данных об испытаниях для различных значений силы света 25 3D изображения MR без их соответствующих наземных масок правды, которые были получены командами после этапа обучения. Этот набор данных использовался для выбора финалистов Второй набор данных испытаний: набор данных, включая 6 3D образы MR без их соответствующих масок правды, которые были получены финалистами в последнем раунде конкурса. Этот набор данных был использован для ранжирования финалистов.Первый тестовый набор данных: набор из 25 3D МР-изображений без соответствующих масок истинной причины, который был получен командами после фазы обучения. Этот набор данных использовался для выбора финалистов
Второй тестовый набор данных: набор из 6 3D МР-изображений без соответствующих масок истинной причины, который был получен финалистами на последнем этапе конкурса. Этот набор данных использовался для ранжирования финалистов.
В таблицах 1 и 2 представлены показатели Dice, чувствительность и точность двух групп для сегментации опухолей первого и второго тестовых наборов данных. В этих двух таблицах представлены показатели сегментации каждого отдельного уровня интенсивности. В таблицах 3 и 4 представлены точности локализации финалистов при локализации опухолей различной интенсивности для каждого тестового изображения. В таблице 3 приведены количество истинно положительных опухолей различной интенсивности (для всех 6 тестовых изображений) а также количество сегментированных и обнаруженных опухолей различной интенсивности для каждой группы. Отмечено, что обнаруженные опухоли — это опухоли, которые были правильно сегментированы. В таблице 4 представлены средние расстояния центров для каждого тестового изображения и для различных интенсивностей. Результаты демонстрируют точность каждой команды при локализации опухолей. Для не обнаруженных лезвий среднее расстояние центра была заменено на 100.
На основе результатов оценки и учитывая визуальные выводы и новизну методов, Legends и AITech были отнесены к первому и второму победителям соответственно.
Заключение и будущие перспективы
Эффективность ИИ-инструментов для обнаружения и прогнозирования различных заболеваний подтверждена в различных исследованиях. В этом конкурсе цель заключалась в использовании ИИ-методов для сегментации и локализации лезвий в МР-изображениях пациентов с МС. Все финальные команды предпочитали использовать глубокие методы машинного обучения для этих задач. Сети варьировались от простых U-сетей до более сложной сети, предложенной «Legends». Как показывают результаты, методы глубокого обучения обладают способностью к сегментации и локализации опухолей. Однако результаты показывают, что всё ещё существует значительная разница между получаемыми результатами и желаемой точностью для надёжной сегментации опухолей мозга. Эта проблема может быть изучена исследователями в будущих исследованиях.
Конфликты интересов
Авторы заявляют следующие потенциальные конфликты интересов:
ZZ и AM были организаторами соревнований по Isf. AI (IAI) 2023 на behalf Isfahan Elite Foundation (IEF), которые включали 10 вызовов. FD, IA, MT, MM, FS и HR были членами научного комитета для Challenge 6: Локализация и сегментация лезий на МРТ-изображениях пациентов с МС. Они отвечали за оценку методов и результатов всех команд-участников. MAA, SMM, SANE, MK, MRI, KS, NS, SM являются членами победивших команд в этом конкурсе.
ZZ и AM были организаторами конкурсов Isfahan AI (IAI) 2023 от имени Isf. Elite Foundation (IEF), которые включали 10 конкурсов.
FD, IA, MT, MM, FS и HR были членами научного комитета для Challenge 6: Локализация и сегментация лезий на МРТ-изображениях пациентов с МС. Они были ответственны за оценку методологий и результатов всех команд участников.
MAA, SMM, SANE, MK, MRI, KS, NS, SM — члены победивших команд в этом конкурсе.
Никто из организаторов и членов научного комитета (FD, IA, MT, MM, FS, HR, ZZ и AM) не участвовал в разработке методов, используемых командами. Окончательное решение о победителях было принято членами Политического совета на основе следующих критериев:
Технический вклад в разработанные модели командами, Результаты на начальном и финальном тестовых данных каждой команды, Поданные отчеты и презентации команд. Авторы сообщили об этих отношениях для обеспечения прозрачности и сохранения целостности исследования.
Технический вклад в разработанные модели командами,
Результаты на начальном и конечном тестовых данных каждой команды,
Поданные отчеты и презентации команд.
Авторы сообщили об этих отношениях для обеспечения прозрачности и сохранения целостности исследования.
МР-изображения являются наиболее часто используемыми инструментами для диагностики МС. Введя гадолиний, можно показать место и размер очагов на МР-изображениях.[ 1 2 3 5 6 8 9 10 ] Определение очагов и их локализация обычно выполняется вручную. Однако эти задачи сложны и трудоемки, что приводит к мысли, если методы машинного обучения могут помочь в автоматической обработке и локализации очагов.Недавно искусственный интеллект (ИИ) всё более привлекает внимание при диагностике различных заболеваний. ИИ может повысить точность, качество и скорость диагностики на основе различных медицинских изображений. Он также может предсказывать возможное возникновение заболеваний, таких как различные раковые заболевания, у пациента. С этой точки зрения МА в настоящее время играет жизненно важную роль в профилактике различных заболеваний и их финансового и эмоционального бремени для общества, а также в улучшении качества лечения и жизни пациентов[. 12 13 14 ] Принимая во внимание эту реальность, МА также использовалась для диагностики MS, а также для обнаружения, сегментации и локализации повреждений MR для пациентов MS. Использование АИ может повысить качество сегментации повреждений и локализации, что имеет исключительно важное значение для точного диагноза заболевания MS[. 15 16 17 18 19 20 21 22 23 ] Одна из задач, связанных с разработкой новых методов сегментации MS-повреждения на основе АИ, была организована Национальным фондом элитов Исфахана в IAI2023. Цель этого вызова заключалась в предоставлении новых и эффективных методов на основе ИИ для сегментации и локализации поражений в МР-изображениях пациентов с МС. Вызов предполагал сегментацию поражений в 3D МР-изображениях пациентов, максимально приближенную к истинным маскам, а также локализацию поражений и определение их расположения в перивентрикулярной, белом веществе, косой коре или инфрацентральной части мозга. В следующих разделах представлена полная характеристика набора данных, методы оценки, методология команды финалистов и результаты.Комплект данных состоит из изображений FLAIR 81 пациенты, захваченные с помощью MR-системы сканирования (MRI Siemens Avanto System, MRI Siemens System) 1.5 Тесла, Хенкестр Эрланген) в больнице Кашани. 3D-образные изображения были в формате NIFTI с размером 160 × 256 × 236. Для каждого случая было также доступно изображение 3D маски с одинаковым размером соответствующего изображения MR, в котором повреждения были локализованы. Изображение содержало повреждения в перивентральных, белых, яхтакортических или инфантитенторных частях мозга, где повреждения в различных местах могли быть идентифицированы по их силе в серых изображениях. Лишь несколько кусков 3D MR изображения пациента с MS содержали повреждения. Пример магнитно-резонансного среза с несколькими поражениями, а также соответствующий срез маски (в цвете и оттенках серого) представлен на рисунке 1. Поражения в разных частях мозга различались по интенсивности (интенсивность 1 до интенсивности 4).
Магнитно-резонансный срез пациента с несколькими поражениями в разных частях мозга и соответствующий срез маски в цвете и оттенках серого, который показывает сегментированные поражения. Лезии в разных частях мозга демонстрируются с разной интенсивностью или цветами, где в цветном изображении красный, зеленый, синий и желтый цвета соответствуют лезиям в перивентрикулярной, белом веществе, космической и инфрацентральной областях соответственно.
В фазе обучения команды получили 50 3D МР-изображений и их соответствующие маски для тренировки своих сетей. Затем командам был предоставлен первый тестовый набор данных, включающий 25 3D МР-изображений без соответствующих масок истинной версии. Задача заключалась в сегментации различных лезий и определении их местоположения в мозге. Полученные результаты были всесторонне оценены, и выбранные команды были приглашены на финальный этап конкурса, проходивший в отеле Abbasi. Финалисты получили второй тестовый набор данных, содержащий оставшиеся 6 3D MR-изображения без их истинных масок.
Оценка методов
После получения первого тестового набора данных команды должны были отправить полученные маски для MR-изображений первого тестового набора данных, а также подробный отчет, включающий их методику и детали подхода. Результаты были оценены как количественно, так и качественно. Качество методов оценивалось по следующим критериям:
Новизна метода
Качество и ясность отчёта
Рациональность метода и настройки параметров
Визуальная производительность сегментации и локализации опухолей.
Результаты также оценивались количественно по следующим критериям:
1. Средний Dice-счёт, определяемый как
2. Средняя чувствительность, определяемая как
3. Средняя точность определяется как
Где
T p — количество пикселей, содержащих опухоль и корректно сегментированных, F p — количество пикселей, не содержащих опухоль и неправильно сегментированных, а F N — количество пикселей, содержащих опухоль и неправильно сегментированных.
Кроме того, точность локализации опухолей была рассчитана с помощью измерения расстояния центра масс. Упомянутый критерий вычисляет евклидово расстояние между геометрическим центром масок истинной версии опухолей и геометрическим центром сегментированных опухолей.Критерии были рассчитаны для каждого из 4 интенсивностей (病变 в перивентрикулярной, белом веществе, юкстакортической или инфрацентральной части мозга). На основе метрик финалистов пригласили на вторую и последнюю фазу конкурса. Финалисты получили второй набор тестовых данных, включающий 6 3D МР-изображений без истинных масок и получили результаты по сегментации и локализации лезий. Результаты были оценены качественно и количественно с использованием указанных метрик. На основе оценок финалистов были ранжированы следующим образом:
Первая команда: Legends
Вторая коман: AITech.
Первая команда: Legends
Вторая команда: AITech.Детали методов финалистов, а также их результаты, представлены в следующих разделах.
Описание методов
Методы финалистов кратко рассмотрены в следующих подразделах.
Примечания
Для задачи сегментации использовался сеть из пяти последовательных слоёв конволюционных слоёв. Количество фильтров конволюционных слоёв от первого до пятого составляло 32, 64, 128, 256 и 512 соответственно. Входные данные сети на каждом этапе были изображением размером 128 × 128. В итоге выход сети был получен с помощью функции активации soft-max.
Для задачи локализации использовались сети LSTM (Long Short-Term Memory). Следовательно, в каждой слоё предыдущей сети был добавлен LSTM-сети. Количество ячеек памяти LSTM-сети в каждом слое было равно половине конволюционных фильтров, используемых в этом слое. Структура разработанной сети Legends иллюстрируется на Рисунке 2.
Архитектура сети, используемой Legends. LSTM: Long short-term memory
AITech
Команда AITech использовала архитектуру U-Net с различными шагами сокращения и расширения и размерами фильтров для сегментации и локализации опухолей. Значения в изображениях маски были нормализованы в интервал (0 1) (вместо 0–4) для обработки с использованием функции активации sigmoid в последнем слое сети. Архитектура сети, используемой AITech, показана на рисунке 3.
Архитектура сети, используемой AITech
Результаты финалистской команды
Результаты финалистов для первого и второго тестовых наборов данных представлены в таблицах 1–4. Для более подробного объяснения результатов, представленных в таблицах 1-4, используются следующие определения:
Таблица 1 Качественные результаты финалистов для первого тестового набора данных
Группа Dice Sensitivity Precision
Легенда Intensity #1 0.51 0.144 0.384
Легенда Intensity #2 0.186 0.144 0.384
Легенда Intensity #3 0.241 0.199 0.365
Легенда Intensity #4 0.207 0.225 0.328
AITech Intensity #1 0.468 0.133 0.133
AITech Intensity #2 0.133 0.151 0.146
AITech Intensity #3 0.107 0.082 0.276
AITech Intensity #4 0.000 0.000 0.000
Качественные результаты финалистов для первого тестового набора данных
Таблица 2 Качественные результаты финалистов для второго тестового набора данных
Группа Dice Sensitivity Precision
Легенда Intensity #1 0.526 0.578 0.538
Легенда Intensity #2 0.140 0.096 0.357
Легенда Intensity #3 0.251 0.197 0.357
Легенда Intensity #4 0.167 0.121 0.317
AITech Intensity #1 0.482 0.598 0.461
AITech Intensity #2 0.177 0.195 0.202
AITech Intensity #3 0.241 0.210 0.339
AITech Intensity #4 0.000 0.000 0.000
Качественные результаты финалистов для второго тестового набора данных dataset
Таблица 3 Сегментированные и обнаруженные опухоли для второго тестового набора данных
Группа | Количество истинно положительных опухолей | Количество обнаруженных опухолей | Количество сегментированных опухолей
Легенда Интенсивность #1 | 77 | 57 | 171
Интенсивность #2 | 68 | 27 | 110
Интенсивность #3 | 50 | 29 | 160
Интенсивность #4 | 18 | 6 | 20
AITech Интенсивность #1 | 77 | 59 | 178
Интенсивность #2 | 68 | 29 | 119
Интенсивность #3 | 50 | 22 | 72
Интенсивность #4 | 18 | 0 | 0
Сегментированные и обнаруженные опухоли для второго тестового набора данных
Таблица 4 Средние расстояния центров опухолей, обнаруженных в каждом изображении второго тестового набора данных для различных интенсивностей
Группа | Изображение #1 | Изображение #2 | Изображение #3 | Изображение #4 | Изображение #5 | Изображение #6
Легенда Интенсивность #1 | 23.7 | 36.01 | 50.52 | 12.91 | 46.68 | 1.44
Интенсивность #2 | 73.66 | 71.67 | 80.38 | 50.71 | 45.16 | 34.66
Интенсивность #3 | 22.50 | 51.00 | 1.42 | 68.05 | 50.81 | 34.30
Интенсивность #4 | 100 | 33.87 | - | 72.54 | 100 | 50.41
AITech Интенсивность #1 | 13.57 | 32.84 | 34.02 | 18.12 | 37.38 | 1.00
Интенсивность #2 | 60.23 | 71.76 | 60.21 | 54.59 | 44.83 | 67.04
Интенсивность #3 | 71.64 | 50.27 | 3.27 | 51.37 | 56.93 | 50.39
Интенсивность #4 | 100 | 100 | - | 100 100 100
Среднее расстояние между обнаруженными повреждениями центроида в каждом из изображений второго набора данных об испытаниях для различных значений силы света 25 3D изображения MR без их соответствующих наземных масок правды, которые были получены командами после этапа обучения. Этот набор данных использовался для выбора финалистов Второй набор данных испытаний: набор данных, включая 6 3D образы MR без их соответствующих масок правды, которые были получены финалистами в последнем раунде конкурса. Этот набор данных был использован для ранжирования финалистов.Первый тестовый набор данных: набор из 25 3D МР-изображений без соответствующих масок истинной причины, который был получен командами после фазы обучения. Этот набор данных использовался для выбора финалистов
Второй тестовый набор данных: набор из 6 3D МР-изображений без соответствующих масок истинной причины, который был получен финалистами на последнем этапе конкурса. Этот набор данных использовался для ранжирования финалистов.
В таблицах 1 и 2 представлены показатели Dice, чувствительность и точность двух групп для сегментации опухолей первого и второго тестовых наборов данных. В этих двух таблицах представлены показатели сегментации каждого отдельного уровня интенсивности. В таблицах 3 и 4 представлены точности локализации финалистов при локализации опухолей различной интенсивности для каждого тестового изображения. В таблице 3 приведены количество истинно положительных опухолей различной интенсивности (для всех 6 тестовых изображений) а также количество сегментированных и обнаруженных опухолей различной интенсивности для каждой группы. Отмечено, что обнаруженные опухоли — это опухоли, которые были правильно сегментированы. В таблице 4 представлены средние расстояния центров для каждого тестового изображения и для различных интенсивностей. Результаты демонстрируют точность каждой команды при локализации опухолей. Для не обнаруженных лезвий среднее расстояние центра была заменено на 100.
На основе результатов оценки и учитывая визуальные выводы и новизну методов, Legends и AITech были отнесены к первому и второму победителям соответственно.
Заключение и будущие перспективы
Эффективность ИИ-инструментов для обнаружения и прогнозирования различных заболеваний подтверждена в различных исследованиях. В этом конкурсе цель заключалась в использовании ИИ-методов для сегментации и локализации лезвий в МР-изображениях пациентов с МС. Все финальные команды предпочитали использовать глубокие методы машинного обучения для этих задач. Сети варьировались от простых U-сетей до более сложной сети, предложенной «Legends». Как показывают результаты, методы глубокого обучения обладают способностью к сегментации и локализации опухолей. Однако результаты показывают, что всё ещё существует значительная разница между получаемыми результатами и желаемой точностью для надёжной сегментации опухолей мозга. Эта проблема может быть изучена исследователями в будущих исследованиях.
Конфликты интересов
Авторы заявляют следующие потенциальные конфликты интересов:
ZZ и AM были организаторами соревнований по Isf. AI (IAI) 2023 на behalf Isfahan Elite Foundation (IEF), которые включали 10 вызовов. FD, IA, MT, MM, FS и HR были членами научного комитета для Challenge 6: Локализация и сегментация лезий на МРТ-изображениях пациентов с МС. Они отвечали за оценку методов и результатов всех команд-участников. MAA, SMM, SANE, MK, MRI, KS, NS, SM являются членами победивших команд в этом конкурсе.
ZZ и AM были организаторами конкурсов Isfahan AI (IAI) 2023 от имени Isf. Elite Foundation (IEF), которые включали 10 конкурсов.
FD, IA, MT, MM, FS и HR были членами научного комитета для Challenge 6: Локализация и сегментация лезий на МРТ-изображениях пациентов с МС. Они были ответственны за оценку методологий и результатов всех команд участников.
MAA, SMM, SANE, MK, MRI, KS, NS, SM — члены победивших команд в этом конкурсе.
Никто из организаторов и членов научного комитета (FD, IA, MT, MM, FS, HR, ZZ и AM) не участвовал в разработке методов, используемых командами. Окончательное решение о победителях было принято членами Политического совета на основе следующих критериев:
Технический вклад в разработанные модели командами, Результаты на начальном и финальном тестовых данных каждой команды, Поданные отчеты и презентации команд. Авторы сообщили об этих отношениях для обеспечения прозрачности и сохранения целостности исследования.
Технический вклад в разработанные модели командами,
Результаты на начальном и конечном тестовых данных каждой команды,
Поданные отчеты и презентации команд.
Авторы сообщили об этих отношениях для обеспечения прозрачности и сохранения целостности исследования.
Читать найденный полный текст
https://creativecommons.org/licenses/by-nc-sa/4.0/ This is an open access journal, and articles are distributed under the terms of the Creative Commons Attribution-NonCommercial-ShareAlike 4.0 License, which allows others to remix, tweak, and build upon the work non-commercially, as long as appropriate credit is given and the new creations are licensed under the identical terms.
Introduction
Multiple sclerosis (MS) is an autoimmune disease which is the main reason of neural disabilities among young adults.[ 1 2 3 4 5 6 7 8 9 10 11 ] The disease arises when the central nervous systems is attacked by the immune system. The main reason of MS is still uncovered; however, it is believed that factors such as genetic records, smoking, or Vitamin D shortage can be effective in disease occurrence.[ 1 5 9 ] As a result of this attack, the myelin sheaths of neurons are destroyed, which results in appearing white lesions in the magnetic resonance (MR) images of the brain.[ 1 2 3 4 5 6 7 8 ] These lesions can be seen in periventricular, white matter, juxtacortical, and infratentorial parts of the brain. Determining the size and the number of lesions in addition to their places in the brain is of high importance for definitive diagnosis of MS based on the McDonald Criteria.[ 1 5 8 9 10 ]
MR images are the mostly used tools for MS diagnosis. By injecting gadolinium, the place and the size of the lesions can be shown in the MR images.[ 1 2 3 5 6 8 9 10 ] Segmenting the lesions and localizing them are usually done manually. However, these tasks are difficult and time-consuming, which bring this idea in mind if machine learning methods can be helpful for segmenting and localizing the lesions automatically.
In recent years, artificial intelligence (AI) has been increasingly become attractive in the diagnosis of different diseases. AI can increase the precision, quality, and speed of diagnosis based on different medical images. It can also predict the possible occurrence of diseases, such as different cancers, for a patient. From this point of view, AI is now playing a vital role in preventing different diseases and their financial and emotional burdens for the society and also in improving the quality of treatments and patients lives.[ 12 13 14 ]
Considering this reality, AI has also been exploited for MS diagnosis and also detection, segmentation, and localization of MR lesions for MS patients. Using AI can increase the quality of lesion segmentation and localization, which is extremely important for accurate diagnosis of MS disease.[ 15 16 17 18 19 20 21 22 23 ]
A challenge focusing on deriving new AI-based methods for MS lesion segmentation was hosted by the Isfahan National Elites Foundation in IAI2023. The goal of this challenge was to provide novel and effective AI-based methods for segmentation and localization of the lesions in MR images of patients with MS. The challenge was to segment lesions in 3D MR images of patients as close as possible to the ground truth mask images, in addition to localize the lesions and determine if they were in periventricular, white matter, juxtacortical, or infratentorial parts of the brain. In the following sections, complete description of the dataset, evaluation methods, finalist team’s methodology, and results are presented.
Dataset description
The dataset consists of FLAIR images of 81 patients captured with MR imaging system (MRI Siemens Avanto scanner system, 1.5 Tesla, Henkestr Erlangen) in Kashani Hospital. The 3D images were in NIFTI format with size 160 × 256 × 236. For each case, a 3D mask image, with the same size of the corresponding MR image, in which the lesions were localized was also available. The images contained lesions in periventricular, white matter, juxtacortical, or infratentorial parts of the brain, where the lesions in different places could be identified by their intensities in the gray scale images. Only few slices of a 3D MR image of a patient with MS contained lesions. An example for an MRI slice with several lesions along with its corresponding mask slice (in color and grayscale formats) is illustrated in Figure 1 . lesions in different places of the brain were distinguished by different intensities (intensity 1 to intensity 4).
Magnetic resonance imaging slice of a patient containing several lesions in different places of the brain in addition to its corresponding mask slice, in color and gray scale formats, which show the segmented lesions. Lesions in different places of brain have been shown with different intensities or colors, where in the colored image, the red, green, blue, and yellow colors correspond to lesions in periventricular, white matter, juxtacortical, and infratentorial, respectively
In the training phase, the teams received 50 3D MR images and their respective masks, for training their networks. Then, the first test dataset, including 25 3D MR images without their respective ground truth masks, was given to the teams. The task was to segment different lesions in addition to localize their places in the brain. The received results were comprehensively evaluated and the selected teams were invited as finalists to the last round of the competition, held in Abbasi Hotel. The finalists received the second test dataset containing the remaining 6 3D MR images without their ground truth masks.
Evaluation of the methods
After receiving the first test dataset, the teams had to send their resulting masks for the MR images of the first test dataset in addition to a comprehensive report including their methodology and approach details. The results were evaluated qualitatively and quantitatively. The quality of the methods was evaluated based on the following criteria:
The novelty of the method Quality and clarity of the report Rationality of the method and parameter settings Visual performance of lesion segmentation and localization.
The novelty of the method
Quality and clarity of the report
Rationality of the method and parameter settings
Visual performance of lesion segmentation and localization.
The received results were also evaluated quantitatively using the following criteria:
1. Average Dice score, defined as
2. Average sensitivity, defined as
3. Average precision, defined as
Where
T p is the number of pixels which contain lesion and have been segmented correctly, F p is the number of pixels which do not contain lesion and have been segmented incorrectly, and F N is the number of pixels which contain lesion and have been segmented incorrectly.
Furthermore, the precision in the localization of the lesions was calculated by centroid distance measurement. The mentioned criterion computed the Euclidian distance between the geometric center of the ground truth masks of the lesions and the geometric center of the segmented lesions.
The criteria have been calculated for each of 4 intensities (lesions in periventricular, white matter, juxtacortical or infratentorial parts of the brain). Based on the metrics, the finalists were invited to the second and the last competition phase. The finalists received the second test dataset, including 6 3D MR images without the ground truth masks and derived the results for lesion segmentation and localization. The results were evaluated qualitatively and quantitatively using the mentioned metrics. Based on the evaluations, the winners were ranked as follows:
First team: Legends Second team: AITech.
First team: Legends
Second team: AITech.
The details of the methods of the finalists in addition to their results are presented in the following sections.
Description of the Methods
The methods of the finalists were reviewed briefly in the following subsections.
Legends
For the segmentation task, a network consists of five consecutive convolutional layers was exploited. The number of convolutional filters from the first to the fifth layer was 32, 64, 128, 256, and 512, respectively. The input of the network in each stage was an 128 × 128 image. Finally, the output of the network was derived using a soft-max activation function.
For the localization task, long short-term memory (LSTM) networks were used. Therefore, in each layer of the previous network, an LSTM network was added. The number of memory units of the LSTM network in each layer was equal to the half of the convolutional filters which were used in that layer. The structure of the designed network by Legends is illustrated in Figure 2 .
Architecture of the network used by Legends. LSTM: Long short-term memory
AITech
The AITech team exploited a U-net architecture with different contracting and expanding steps and filter sizes for the segmentation and localization of the lesions. The values in the mask images were normalized into (0 1) (instead of 0–4) for handling them with the sigmoid activation function in the last layer of the network. The architecture of the network used by AITech is shown in Figure 3 .
Architecture of the network used by AITech
Finalist team’s results
The results of the finalist for the first and second test datasets are summarized in Tables 1 - 4 . For a more clarification on the results presented in Tables 1 - 4 , the following definitions are used:
Table 1 Quantitative results of the finalists for the first test dataset Group Dice Sensitivity Precision Legends Intensity #1 0.51 0.144 0.384 Intensity #2 0.186 0.144 0.384 Intensity #3 0.241 0.199 0.365 Intensity #4 0.207 0.225 0.328 AITech Intensity #1 0.468 0.133 0.133 Intensity #2 0.133 0.151 0.146 Intensity #3 0.107 0.082 0.276 Intensity #4 0.000 0.000 0.000
Quantitative results of the finalists for the first test dataset
Table 2 Quantitative results of the finalists for the second test dataset Group Dice Sensitivity Precision Legends Intensity #1 0.526 0.578 0.538 Intensity #2 0.140 0.096 0.357 Intensity #3 0.251 0.197 0.357 Intensity #4 0.167 0.121 0.317 AITech Intensity #1 0.482 0.598 0.461 Intensity #2 0.177 0.195 0.202 Intensity #3 0.241 0.210 0.339 Intensity #4 0.000 0.000 0.000
Quantitative results of the finalists for the second test dataset
Table 3 Segmented and detected lesions for the second test dataset Group Number of ground truth lesions Number of detected lesions Number of segmented lesions Legends Intensity #1 77 57 171 Intensity #2 68 27 110 Intensity #3 50 29 160 Intensity #4 18 6 20 AITech Intensity #1 77 59 178 Intensity #2 68 29 119 Intensity #3 50 22 72 Intensity #4 18 0 0
Segmented and detected lesions for the second test dataset
Table 4 Average centroid distances of the detected lesions in each image of the second test dataset for different intensities Group Image #1 Image #2 Image #3 Image #4 Image #5 Image #6 Legends Intensity #1 23.7 36.01 50.52 12.91 46.68 1.44 Intensity #2 73.66 71.67 80.38 50.71 45.16 34.66 Intensity #3 22.50 51.00 1.42 68.05 50.81 34.30 Intensity #4 100 33.87 - 72.54 100 50.41 AITech Intensity #1 13.57 32.84 34.02 18.12 37.38 1.00 Intensity #2 60.23 71.76 60.21 54.59 44.83 67.04 Intensity #3 71.64 50.27 3.27 51.37 56.93 50.39 Intensity #4 100 100 - 100 100 100
Average centroid distances of the detected lesions in each image of the second test dataset for different intensities
First test dataset: A dataset including 25 3D MR images without their respective ground truth masks, which received by the teams after the training phase. This dataset was used for selecting the finalists Second test dataset: A dataset including 6 3D MR images without their respective ground truth masks, which received by the finalists in the last round of the competition. This dataset was used for ranking the finalists.
First test dataset: A dataset including 25 3D MR images without their respective ground truth masks, which received by the teams after the training phase. This dataset was used for selecting the finalists
Second test dataset: A dataset including 6 3D MR images without their respective ground truth masks, which received by the finalists in the last round of the competition. This dataset was used for ranking the finalists.
In Tables 1 and 2 , Dice score, sensitivity, and precision of the two groups for lesion segmentation of the first and second test datasets are presented. In these two Tables, the scores for segmentation of each individual intensity are presented. In Tables 3 and 4 , the localization accuracies of the finalists for localizing the lesions with different intensities and for each test image are presented. In Table 3 , the number of ground truth lesions with different intensities (for all of 6 test images) in addition to the number of segmented and detected lesions with different intensities for each group are presented. Noted that the detected lesions are the lesions which have been segmented correctly. In Table 4 , the average centroid distances for each test image and for different intensities are reported. The results show the precision of each team for the lesion localization. For undetected lesions, the average centroid distance was replaced by 100.
Based on the evaluation results and by considering the visual outputs and the novelty of the methods, the Legends and AITech were ranked as the first and second winners, respectively.
Conclusion and Future Perspective
Effectiveness of AI tools for the detection and prediction of different disease has been proven in different studies. In this challenge, the aim was to use AI methods for segmentation and localization of lesions in MR images of patients with MS. All of the finalist teams preferred to use deep learning methods for these tasks. The networks varied from simple U-nets to a more complicated network proposed by “Legends.” As the results show, deep learning methods have the ability for segmentation and localization of the lesions. However, the results show that still there is a significant gap between the acquired results and desired accuracies for a trustable MS lesion segmentation. This issue can be investigated by researchers in future studies.
Conflicts of interest
The authors declare the following potential conflicts of interest:
ZZ and AM were the organizers of the Isfahan AI (IAI) 2023 competitions on behalf of Isfahan Elite Foundation (IEF), which included 10 challenges. FD, IA, MT, MM, FS and HR, served as scientific committee members for Challenge 6: Lesion Segmentation and Localization in MRI Images of Patients with MS. They were responsible for evaluating the methodologies and results of all participant teams. MAA, SMM, SANE, MK, MRI, KS, NS, SM are members of the winning teams in this challenge.
ZZ and AM were the organizers of the Isfahan AI (IAI) 2023 competitions on behalf of Isfahan Elite Foundation (IEF), which included 10 challenges.
FD, IA, MT, MM, FS and HR, served as scientific committee members for Challenge 6: Lesion Segmentation and Localization in MRI Images of Patients with MS. They were responsible for evaluating the methodologies and results of all participant teams.
MAA, SMM, SANE, MK, MRI, KS, NS, SM are members of the winning teams in this challenge.
None of the organizers and scientific committee members (FD, IA, MT, MM, FS, HR, ZZ and AM) contributed to the development of the methods used by the participating teams. The final decision regarding the winners was made by the policy council members based on the following criteria:
Technical contribution in developed models by teams, The results on initial and final test data of each team, The submitted reports and teams’ presentations. The authors have disclosed these relationships to ensure transparency and maintain the integrity of the research.
Technical contribution in developed models by teams,
The results on initial and final test data of each team,
The submitted reports and teams’ presentations.
The authors have disclosed these relationships to ensure transparency and maintain the integrity of the research.
Multiple sclerosis (MS) is an autoimmune disease which is the main reason of neural disabilities among young adults.[ 1 2 3 4 5 6 7 8 9 10 11 ] The disease arises when the central nervous systems is attacked by the immune system. The main reason of MS is still uncovered; however, it is believed that factors such as genetic records, smoking, or Vitamin D shortage can be effective in disease occurrence.[ 1 5 9 ] As a result of this attack, the myelin sheaths of neurons are destroyed, which results in appearing white lesions in the magnetic resonance (MR) images of the brain.[ 1 2 3 4 5 6 7 8 ] These lesions can be seen in periventricular, white matter, juxtacortical, and infratentorial parts of the brain. Determining the size and the number of lesions in addition to their places in the brain is of high importance for definitive diagnosis of MS based on the McDonald Criteria.[ 1 5 8 9 10 ]
MR images are the mostly used tools for MS diagnosis. By injecting gadolinium, the place and the size of the lesions can be shown in the MR images.[ 1 2 3 5 6 8 9 10 ] Segmenting the lesions and localizing them are usually done manually. However, these tasks are difficult and time-consuming, which bring this idea in mind if machine learning methods can be helpful for segmenting and localizing the lesions automatically.
In recent years, artificial intelligence (AI) has been increasingly become attractive in the diagnosis of different diseases. AI can increase the precision, quality, and speed of diagnosis based on different medical images. It can also predict the possible occurrence of diseases, such as different cancers, for a patient. From this point of view, AI is now playing a vital role in preventing different diseases and their financial and emotional burdens for the society and also in improving the quality of treatments and patients lives.[ 12 13 14 ]
Considering this reality, AI has also been exploited for MS diagnosis and also detection, segmentation, and localization of MR lesions for MS patients. Using AI can increase the quality of lesion segmentation and localization, which is extremely important for accurate diagnosis of MS disease.[ 15 16 17 18 19 20 21 22 23 ]
A challenge focusing on deriving new AI-based methods for MS lesion segmentation was hosted by the Isfahan National Elites Foundation in IAI2023. The goal of this challenge was to provide novel and effective AI-based methods for segmentation and localization of the lesions in MR images of patients with MS. The challenge was to segment lesions in 3D MR images of patients as close as possible to the ground truth mask images, in addition to localize the lesions and determine if they were in periventricular, white matter, juxtacortical, or infratentorial parts of the brain. In the following sections, complete description of the dataset, evaluation methods, finalist team’s methodology, and results are presented.
Dataset description
The dataset consists of FLAIR images of 81 patients captured with MR imaging system (MRI Siemens Avanto scanner system, 1.5 Tesla, Henkestr Erlangen) in Kashani Hospital. The 3D images were in NIFTI format with size 160 × 256 × 236. For each case, a 3D mask image, with the same size of the corresponding MR image, in which the lesions were localized was also available. The images contained lesions in periventricular, white matter, juxtacortical, or infratentorial parts of the brain, where the lesions in different places could be identified by their intensities in the gray scale images. Only few slices of a 3D MR image of a patient with MS contained lesions. An example for an MRI slice with several lesions along with its corresponding mask slice (in color and grayscale formats) is illustrated in Figure 1 . lesions in different places of the brain were distinguished by different intensities (intensity 1 to intensity 4).
Magnetic resonance imaging slice of a patient containing several lesions in different places of the brain in addition to its corresponding mask slice, in color and gray scale formats, which show the segmented lesions. Lesions in different places of brain have been shown with different intensities or colors, where in the colored image, the red, green, blue, and yellow colors correspond to lesions in periventricular, white matter, juxtacortical, and infratentorial, respectively
In the training phase, the teams received 50 3D MR images and their respective masks, for training their networks. Then, the first test dataset, including 25 3D MR images without their respective ground truth masks, was given to the teams. The task was to segment different lesions in addition to localize their places in the brain. The received results were comprehensively evaluated and the selected teams were invited as finalists to the last round of the competition, held in Abbasi Hotel. The finalists received the second test dataset containing the remaining 6 3D MR images without their ground truth masks.
Evaluation of the methods
After receiving the first test dataset, the teams had to send their resulting masks for the MR images of the first test dataset in addition to a comprehensive report including their methodology and approach details. The results were evaluated qualitatively and quantitatively. The quality of the methods was evaluated based on the following criteria:
The novelty of the method Quality and clarity of the report Rationality of the method and parameter settings Visual performance of lesion segmentation and localization.
The novelty of the method
Quality and clarity of the report
Rationality of the method and parameter settings
Visual performance of lesion segmentation and localization.
The received results were also evaluated quantitatively using the following criteria:
1. Average Dice score, defined as
2. Average sensitivity, defined as
3. Average precision, defined as
Where
T p is the number of pixels which contain lesion and have been segmented correctly, F p is the number of pixels which do not contain lesion and have been segmented incorrectly, and F N is the number of pixels which contain lesion and have been segmented incorrectly.
Furthermore, the precision in the localization of the lesions was calculated by centroid distance measurement. The mentioned criterion computed the Euclidian distance between the geometric center of the ground truth masks of the lesions and the geometric center of the segmented lesions.
The criteria have been calculated for each of 4 intensities (lesions in periventricular, white matter, juxtacortical or infratentorial parts of the brain). Based on the metrics, the finalists were invited to the second and the last competition phase. The finalists received the second test dataset, including 6 3D MR images without the ground truth masks and derived the results for lesion segmentation and localization. The results were evaluated qualitatively and quantitatively using the mentioned metrics. Based on the evaluations, the winners were ranked as follows:
First team: Legends Second team: AITech.
First team: Legends
Second team: AITech.
The details of the methods of the finalists in addition to their results are presented in the following sections.
Description of the Methods
The methods of the finalists were reviewed briefly in the following subsections.
Legends
For the segmentation task, a network consists of five consecutive convolutional layers was exploited. The number of convolutional filters from the first to the fifth layer was 32, 64, 128, 256, and 512, respectively. The input of the network in each stage was an 128 × 128 image. Finally, the output of the network was derived using a soft-max activation function.
For the localization task, long short-term memory (LSTM) networks were used. Therefore, in each layer of the previous network, an LSTM network was added. The number of memory units of the LSTM network in each layer was equal to the half of the convolutional filters which were used in that layer. The structure of the designed network by Legends is illustrated in Figure 2 .
Architecture of the network used by Legends. LSTM: Long short-term memory
AITech
The AITech team exploited a U-net architecture with different contracting and expanding steps and filter sizes for the segmentation and localization of the lesions. The values in the mask images were normalized into (0 1) (instead of 0–4) for handling them with the sigmoid activation function in the last layer of the network. The architecture of the network used by AITech is shown in Figure 3 .
Architecture of the network used by AITech
Finalist team’s results
The results of the finalist for the first and second test datasets are summarized in Tables 1 - 4 . For a more clarification on the results presented in Tables 1 - 4 , the following definitions are used:
Table 1 Quantitative results of the finalists for the first test dataset Group Dice Sensitivity Precision Legends Intensity #1 0.51 0.144 0.384 Intensity #2 0.186 0.144 0.384 Intensity #3 0.241 0.199 0.365 Intensity #4 0.207 0.225 0.328 AITech Intensity #1 0.468 0.133 0.133 Intensity #2 0.133 0.151 0.146 Intensity #3 0.107 0.082 0.276 Intensity #4 0.000 0.000 0.000
Quantitative results of the finalists for the first test dataset
Table 2 Quantitative results of the finalists for the second test dataset Group Dice Sensitivity Precision Legends Intensity #1 0.526 0.578 0.538 Intensity #2 0.140 0.096 0.357 Intensity #3 0.251 0.197 0.357 Intensity #4 0.167 0.121 0.317 AITech Intensity #1 0.482 0.598 0.461 Intensity #2 0.177 0.195 0.202 Intensity #3 0.241 0.210 0.339 Intensity #4 0.000 0.000 0.000
Quantitative results of the finalists for the second test dataset
Table 3 Segmented and detected lesions for the second test dataset Group Number of ground truth lesions Number of detected lesions Number of segmented lesions Legends Intensity #1 77 57 171 Intensity #2 68 27 110 Intensity #3 50 29 160 Intensity #4 18 6 20 AITech Intensity #1 77 59 178 Intensity #2 68 29 119 Intensity #3 50 22 72 Intensity #4 18 0 0
Segmented and detected lesions for the second test dataset
Table 4 Average centroid distances of the detected lesions in each image of the second test dataset for different intensities Group Image #1 Image #2 Image #3 Image #4 Image #5 Image #6 Legends Intensity #1 23.7 36.01 50.52 12.91 46.68 1.44 Intensity #2 73.66 71.67 80.38 50.71 45.16 34.66 Intensity #3 22.50 51.00 1.42 68.05 50.81 34.30 Intensity #4 100 33.87 - 72.54 100 50.41 AITech Intensity #1 13.57 32.84 34.02 18.12 37.38 1.00 Intensity #2 60.23 71.76 60.21 54.59 44.83 67.04 Intensity #3 71.64 50.27 3.27 51.37 56.93 50.39 Intensity #4 100 100 - 100 100 100
Average centroid distances of the detected lesions in each image of the second test dataset for different intensities
First test dataset: A dataset including 25 3D MR images without their respective ground truth masks, which received by the teams after the training phase. This dataset was used for selecting the finalists Second test dataset: A dataset including 6 3D MR images without their respective ground truth masks, which received by the finalists in the last round of the competition. This dataset was used for ranking the finalists.
First test dataset: A dataset including 25 3D MR images without their respective ground truth masks, which received by the teams after the training phase. This dataset was used for selecting the finalists
Second test dataset: A dataset including 6 3D MR images without their respective ground truth masks, which received by the finalists in the last round of the competition. This dataset was used for ranking the finalists.
In Tables 1 and 2 , Dice score, sensitivity, and precision of the two groups for lesion segmentation of the first and second test datasets are presented. In these two Tables, the scores for segmentation of each individual intensity are presented. In Tables 3 and 4 , the localization accuracies of the finalists for localizing the lesions with different intensities and for each test image are presented. In Table 3 , the number of ground truth lesions with different intensities (for all of 6 test images) in addition to the number of segmented and detected lesions with different intensities for each group are presented. Noted that the detected lesions are the lesions which have been segmented correctly. In Table 4 , the average centroid distances for each test image and for different intensities are reported. The results show the precision of each team for the lesion localization. For undetected lesions, the average centroid distance was replaced by 100.
Based on the evaluation results and by considering the visual outputs and the novelty of the methods, the Legends and AITech were ranked as the first and second winners, respectively.
Conclusion and Future Perspective
Effectiveness of AI tools for the detection and prediction of different disease has been proven in different studies. In this challenge, the aim was to use AI methods for segmentation and localization of lesions in MR images of patients with MS. All of the finalist teams preferred to use deep learning methods for these tasks. The networks varied from simple U-nets to a more complicated network proposed by “Legends.” As the results show, deep learning methods have the ability for segmentation and localization of the lesions. However, the results show that still there is a significant gap between the acquired results and desired accuracies for a trustable MS lesion segmentation. This issue can be investigated by researchers in future studies.
Conflicts of interest
The authors declare the following potential conflicts of interest:
ZZ and AM were the organizers of the Isfahan AI (IAI) 2023 competitions on behalf of Isfahan Elite Foundation (IEF), which included 10 challenges. FD, IA, MT, MM, FS and HR, served as scientific committee members for Challenge 6: Lesion Segmentation and Localization in MRI Images of Patients with MS. They were responsible for evaluating the methodologies and results of all participant teams. MAA, SMM, SANE, MK, MRI, KS, NS, SM are members of the winning teams in this challenge.
ZZ and AM were the organizers of the Isfahan AI (IAI) 2023 competitions on behalf of Isfahan Elite Foundation (IEF), which included 10 challenges.
FD, IA, MT, MM, FS and HR, served as scientific committee members for Challenge 6: Lesion Segmentation and Localization in MRI Images of Patients with MS. They were responsible for evaluating the methodologies and results of all participant teams.
MAA, SMM, SANE, MK, MRI, KS, NS, SM are members of the winning teams in this challenge.
None of the organizers and scientific committee members (FD, IA, MT, MM, FS, HR, ZZ and AM) contributed to the development of the methods used by the participating teams. The final decision regarding the winners was made by the policy council members based on the following criteria:
Technical contribution in developed models by teams, The results on initial and final test data of each team, The submitted reports and teams’ presentations. The authors have disclosed these relationships to ensure transparency and maintain the integrity of the research.
Technical contribution in developed models by teams,
The results on initial and final test data of each team,
The submitted reports and teams’ presentations.
The authors have disclosed these relationships to ensure transparency and maintain the integrity of the research.