m+Medelevator.RU
← Поиск публикаций
Translational neuroscience · 2024

Экспериментальная оценка диагностической точности " ЧатгПТ-3.5 " для множественных склерозов на основе отчетов по конкретным делам.

СтатьяНазвание и аннотация: Машинный перевод · не проверен
Обработка статьи · этапы, ошибки и управление
Загрузка состояния…

История · было → стало

Состояние обновляется каждые 5 секунд, пока блок открыт. Процент показывается только там, где известен объём работы. Пауза останавливает продолжение этапа; текущий запрос к источнику может завершиться.

Joseph Anika, Joseph Kevin, Joseph Angelyn

Аннотация

Ограниченность моделей искусственного интеллекта (АИ) для диагностики заболеваний с точки зрения безопасности пациентов по-прежнему недостаточно изучена, и необходимо решить такие потенциальные проблемы, как диагностические ошибки и правовые проблемы. Чтобы продемонстрировать ограничения МА, мы использовали ChatGPT-3.5, разработанный OpenAI, в качестве инструмента для медицинского диагноза, используя текстовые отчеты о многочисленных склерозах (MS), которые были выбраны в качестве прототипического заболевания. Мы проанализировали 98 докладов по рецензируемым делам, отобранных на основе свободного доступа к тексту и опубликованных в течение последнего десятилетия (2014 - 2024 годы), исключая любое упоминание диагноза MS во избежание предвзятости. Для интерпретации клинических презентаций и лабораторных данных, содержащихся в этих докладах, использовался " ChatGPT-3.5 " . Модель правильно диагностировала MS в 77 случаях, достигнув 78,6 процента точности. Однако остальные 21 случай были неправильно диагностированы, что свидетельствует об ограничениях модели. К числу факторов, способствующих ошибкам, относятся изменчивость формата представления данных и имманентная сложность диагностирования MS, что требует не только клинических презентаций, но и лабораторных данных. Хотя эти выводы свидетельствуют о том, что МА может оказывать поддержку лицам, занимающимся диагностикой заболеваний и медицинским обслуживанием, в процессе принятия решений, неадекватная подготовка с использованием крупных наборов данных может привести к значительным неточностям. Интеграция АИ в клиническую практику требует жесткой проверки и надежной нормативной базы для обеспечения ответственного использования.
Оригинал публикации

A pilot evaluation of the diagnostic accuracy of ChatGPT-3.5 for multiple sclerosis from case reports.

The limitation of artificial intelligence (AI) large language models to diagnose diseases from the perspective of patient safety remains underexplored and potential challenges, such as diagnostic errors and legal challenges, need to be addressed. To demonstrate the limitations of AI, we used ChatGPT-3.5 developed by OpenAI, as a tool for medical diagnosis using text-based case reports of multiple sclerosis (MS), which was selected as a prototypic disease. We analyzed 98 peer-reviewed case reports selected based on free-full text availability and published within the past decade (2014-2024), excluding any mention of an MS diagnosis to avoid bias. ChatGPT-3.5 was used to interpret clinical presentations and laboratory data from these reports. The model correctly diagnosed MS in 77 cases, achieving an accuracy rate of 78.6%. However, the remaining 21 cases were misdiagnosed, highlighting the model's limitations. Factors contributing to the errors include variability in data presentation and the inherent complexity of MS diagnosis, which requires imaging modalities in addition to clinical presentations and laboratory data. While these findings suggest that AI can support disease diagnosis and healthcare providers in decision-making, inadequate training with large datasets may lead to significant inaccuracies. Integrating AI into clinical practice necessitates rigorous validation and robust regulatory frameworks to ensure responsible use.

ИП Урсолов Владлен Сергеевич

ИНН 500118482352 · ОГРНИП 314500117700049

Реквизиты и контакты