A validação externa de escores de IA na UTI é frequente e como o desempenho se altera em novos dados?
Resposta curta: A validação externa de escores de IA na UTI ainda é incomum, mas está aumentando. Em média, a AUROC cai 0,037 em dados externos, com redução maior que 0,05 em quase metade dos estudos. Isso questiona a confiabilidade de alguns escores recentes e reforça a necessidade de validação antes da aplicação clínica.
Resposta
A revisão sistemática com meta-análise avaliou como a validação externa de escores de aprendizado de máquina (ML) para predição de deterioração na UTI é realizada e como o desempenho muda em novos dados. Foram incluídos 572 estudos, dos quais 84 (14,7%) foram externamente validados, com aumento para 23,9% até 2023. A maioria dos estudos validados utilizou dois conjuntos de dados norte-americanos de código aberto (MIMIC e eICU), que responderam por 83,3% dos casos.
Em média, a área sob a curva ROC (AUROC) reduziu -0,037 (IC 95% -0,052 a -0,027) em dados externos, e em 49,5% dos estudos a redução foi maior que 0,05. Esses achados indicam que o desempenho geralmente é inferior quando o modelo é aplicado em hospitais diferentes daqueles de treinamento, o que levanta dúvidas sobre a confiabilidade de alguns escores de ML recentemente propostos.
Os autores discutem que a validação externa, embora esteja se tornando mais comum, ainda é pouco frequente. A interpretação dos resultados foi limitada pelo uso desproporcional de poucos conjuntos de dados, por diferenças implícitas na composição de casos e pelo uso exclusivo da AUROC como métrica de desempenho. Essas limitações dificultam generalizações sobre a real utilidade clínica dos escores.
Para o médico que atua em UTI, os resultados reforçam que escores baseados em ML devem ser vistos com cautela até que sejam validados externamente em populações semelhantes à sua. A queda média de desempenho, embora modesta, pode ter implicações clínicas relevantes, especialmente em decisões de triagem ou alocação de recursos. A dependência de poucos datasets também sugere que a validação em contextos locais é essencial.
A aplicação prática envolve incorporar a validação externa como critério na escolha de ferramentas de apoio à decisão e considerar a realização de validações locais antes de adotar um escore. No consultório ou na gestão da UTI, isso significa priorizar tecnologias com evidências de desempenho reprodutível e estar atento às limitações dos estudos disponíveis.
O que o estudo mostrou
Revisão sistemática e meta-análise que incluiu 572 estudos primários publicados em inglês até dezembro de 2023, identificados em MEDLINE, Web of Science e arXiv, sobre uso de aprendizado de máquina para predizer deterioração de pacientes em UTI a partir de dados rotineiros. Desses, 84 (14,7%) foram externamente validados, com aumento para 23,9% até 2023. Estudos validados usaram desproporcionalmente dois conjuntos de dados norte-americanos de código aberto (MIMIC e eICU), que responderam por 83,3% dos casos. A AUROC média reduziu -0,037 (IC 95% -0,052 a -0,027) em dados externos, com redução maior que 0,05 em 49,5% dos estudos.
Limitações
O resumo não informa detalhes sobre a qualidade metodológica dos estudos incluídos, nem sobre heterogeneidade entre eles. A interpretação foi limitada pelo uso desproporcional de poucos conjuntos de dados, por diferenças implícitas na composição de casos e pelo uso exclusivo da AUROC como medida de desempenho. O resumo também não informa a magnitude dessas limitações ou análises de sensibilidade.
Aplicação no consultório
Na prática clínica e na gestão do consultório, os achados sugerem cautela ao adotar escores de IA na UTI sem validação externa em populações locais. A queda média de AUROC, embora modesta, pode afetar decisões clínicas. Gestores devem priorizar ferramentas com validação externa documentada e considerar a realização de validações locais antes da implementação. A dependência de poucos datasets reforça a necessidade de avaliar a representatividade dos dados de treinamento para o seu contexto.
Estudo citado
External validation of AI-based scoring systems in the ICU: a systematic review and meta-analysis. BMC medical informatics and decision making, 2025.
Autores: Rockenschaub P, Akay EM, Carlisle BG, Hilbert A, Wendland J, Meyer-Eschenbach F, Näher AF, Frey D, Madai VI.
DOI: 10.1186/s12911-024-02830-7 · PubMed: PMID 39762808
Perguntas para aprofundar
- Como interpretar a queda de AUROC em validação externa de modelos de IA na UTI?
- Quais são os principais desafios para validar externamente escores de IA em hospitais brasileiros?
- A validação externa com datasets de código aberto é suficiente para generalizar modelos de IA na UTI?
Mais sobre IA em emergência e UTI
- O aprendizado de máquina tem bom valor preditivo para lesão renal aguda em pacientes de UTI?
- Aprendizado de máquina é útil para prever desfechos prognósticos em pacientes com COVID-19?
- Como modelos de aprendizado de máquina e aprendizado profundo podem auxiliar no diagnóstico precoce de sepse em unidades de terapia intensiva?
- Modelos de machine learning e deep learning são eficazes para prever delirium em pacientes adultos na UTI?
- Algoritmos de aprendizado de máquina têm bom desempenho diagnóstico para predição de sepse?
Todas as perguntas sobre IA em emergência e UTI · Todos os temas · Versão em markdown