MedElevator
Войти в исследования DOI 10.1016/j.ijmedinf.2025.105857
RelAI: автоматизированный подход к оценке точечной достоверности прогнозов ML.
Аннотация
ЦЕЛИ: достижения АИ/МЛ были значительными, однако их внедрение в клинической практике сопряжено с проблемами материально-технического, нормативного и доверительного характера. Для содействия доверию и обоснованному использованию прогнозов ML в реальных сценариях необходима надежная оценка индивидуальных прогнозов. Мы предлагаем < < Релай > > -- инструмент для целенаправленной оценки надежности прогнозов ML, который может способствовать выявлению ошибок прогнозирования во время развертывания.
МАТЕРИАЛЫ И МЕТОДЫ
" Релай " использует автоматические коды (АЭ) для выявления изменений в распределении (принцип чувствительности) и опосредованную модель для кодирования местных показателей (принцип местного футирования). Мы проверили RelAI на синтезированном наборе данных и сценарий реального мира, предполагающий результаты множественного склероза (MS).
Результаты
На основе синтетического набора данных < < Релай > > эффективно идентифицировала ненадежность прогнозов, превысив эффективность альтернативных подходов. В тематическом исследовании MS достоверные прогнозы свидетельствуют о большей точности и связаны с конкретными демографическими особенностями, такими, как пол, место жительства и симптомы глаз. ОБСУЖДЕНИЕ И
ЗАКЛЮЧЕНИЕ
" Релай " может поддерживать внедрение ML в клинических условиях путем проведения ориентационных оценок надежности, обеспечения соблюдения нормативных требований и укрепления доверия пользователей. Его модельно-агностическая природа и его совместимость с Python-PL-проводами повышают его потенциал для широкого внедрения.
Название и аннотация на языке оригинала
RelAI: an automated approach to judge pointwise ML prediction reliability.
OBJECTIVES
AI/ML advancements have been significant, yet their deployment in clinical practice faces logistical, regulatory, and trust-related challenges. To promote trust and informed use of ML predictions in real-world scenarios, reliable assessment of individual predictions is essential. We propose RelAI, a tool for pointwise reliability assessment of ML predictions that can support the identification of prediction errors during deployment.
MATERIALS AND
METHODS
RelAI utilizes Autoencoders (AEs) to detect distributional shifts (Density principle) and a proxy model to encode local performance (Local Fit principle). We validated RelAI on a synthetic dataset and a real-world scenario involving Multiple Sclerosis (MS) patient outcomes.
RESULTS
On a synthetic dataset, RelAI effectively identified unreliable predictions, outperforming alternative approaches. In the MS case study, reliable predictions exhibited higher accuracy and were associated with specific demographic features, such as sex, residence, and eye symptoms.
DISCUSSION AND
CONCLUSION
RelAI can support ML deployment in clinical settings by providing pointwise reliability assessments, ensuring regulatory compliance, and fostering user trust. Its model-agnostic nature and its compatibility with Python-based ML pipelines enhance its potential for widespread adoption.
Предметные рубрики MeSH
Подготовка и перевод публикации
Обработка статьи · этапы, ошибки и управление
Ошибки и ограничения
История · было → стало
Состояние обновляется каждые 5 секунд, пока блок открыт. Процент показывается только там, где известен объём работы. Пауза останавливает продолжение этапа; текущий запрос к источнику может завершиться.
Тип публикации указан по данным источника. Уровень доказательности автоматически не присваивается.