Regulação e validação clínica de IA

Modelos de aprendizado de máquina superam os métodos usuais de predição diagnóstica e prognóstica no pronto-socorro?

Resposta

A revisão sistemática buscou evidências sobre o desempenho de modelos de aprendizado de máquina (ML) em comparação com métodos usuais de predição diagnóstica e prognóstica em pacientes atendidos no pronto-socorro. Foram incluídos estudos que usaram variáveis preditoras prontamente disponíveis para clínicos de emergência, como escores baseados em triagem, ferramentas de predição clínica e julgamento clínico.

Os resultados mostraram que, nos sete estudos diagnósticos, os modelos de ML superaram os métodos usuais em todas as métricas de desempenho avaliadas. Em estudos sobre mortalidade intra-hospitalar, os melhores modelos de ML apresentaram melhor discriminação (AUROC entre 0,74 e 0,94) do que qualquer ferramenta de decisão clínica (AUROC entre 0,68 e 0,81). Para predição de internação hospitalar, os modelos de ML também tiveram melhor discriminação (AUROC entre 0,80 e 0,83) em comparação com escores de triagem (AUROC entre 0,68 e 0,82).

Apesar desses achados promissores, a heterogeneidade clínica entre os estudos impediu a realização de meta-análise. Além disso, a maioria dos estudos apresentou alto risco de viés devido à falta de validação externa, baixas taxas de eventos e relato insuficiente de calibração. Essas limitações comprometem a aplicabilidade clínica imediata dos modelos.

Os autores concluem que o aprendizado de máquina pode ter melhor desempenho preditivo do que os cuidados usuais para pacientes de pronto-socorro com diversas apresentações clínicas e desfechos. No entanto, ressaltam a necessidade de seguir diretrizes de relato de modelos de predição para fornecer dados clinicamente aplicáveis e de realizar ensaios intervencionistas para avaliar o impacto nos desfechos centrados no paciente.

Para o médico brasileiro, os resultados indicam potencial, mas não justificam a substituição imediata dos métodos usuais. A implementação de modelos de ML na prática clínica deve aguardar validação externa robusta e estudos que demonstrem benefícios em desfechos relevantes, além de considerar a infraestrutura e a integração com os sistemas de saúde locais.

O que o estudo mostrou

Revisão sistemática que incluiu 23 estudos, totalizando 16.274.647 pacientes, comparando modelos de aprendizado de máquina com métodos usuais de predição no pronto-socorro. Nos sete estudos diagnósticos, os modelos de ML superaram os cuidados usuais em todas as métricas. Em seis estudos de mortalidade intra-hospitalar, os melhores modelos de ML tiveram AUROC entre 0,74 e 0,94, enquanto as ferramentas clínicas tiveram AUROC entre 0,68 e 0,81. Em quatro estudos de internação, os modelos de ML tiveram AUROC entre 0,80 e 0,83, contra 0,68 a 0,82 dos escores de triagem. A heterogeneidade impediu meta-análise.

Limitações

A heterogeneidade clínica entre os estudos impossibilitou a realização de meta-análise. A maioria dos estudos apresentou alto risco de viés devido à falta de validação externa, baixas taxas de eventos e relato insuficiente de calibração. O resumo não informa detalhes sobre a população específica de cada estudo, os tipos de modelos de ML utilizados ou os desfechos clínicos além dos citados. Essas limitações restringem a generalização dos achados e a aplicação clínica imediata.

Aplicação no consultório

Os achados sugerem que modelos de ML podem auxiliar na predição diagnóstica e prognóstica no pronto-socorro, mas ainda não estão prontos para substituir os métodos usuais. Na prática clínica, é importante aguardar validação externa e estudos de impacto antes de incorporar essas ferramentas. Para a gestão do consultório, considerar que a implementação exigiria infraestrutura de dados e treinamento, além de atenção às diretrizes de relato para garantir aplicabilidade. O médico deve manter o julgamento clínico como base, usando modelos como apoio quando validados.

Estudo citado

Machine Learning Versus Usual Care for Diagnostic and Prognostic Prediction in the Emergency Department: A Systematic Review. Academic emergency medicine : official journal of the Society for Academic Emergency Medicine, 2021.
Autores: Kareemi H, Vaillancourt C, Rosenberg H, Fournier K, Yadav K.
DOI: 10.1111/acem.14190 · PubMed: PMID 33277724

Perguntas para aprofundar

• Quais são os principais riscos de viés em estudos de modelos de aprendizado de máquina no pronto-socorro?
• Como a validação externa impacta a aplicabilidade clínica de modelos preditivos?
• Quais desfechos centrados no paciente devem ser avaliados em ensaios de intervenção com IA na emergência?

Mais sobre Regulação e validação clínica de IA

• Algoritmos de aprendizado de máquina podem prever a sobrevida de pacientes tratados para carcinoma hepatocelular?
• Modelos de inteligência artificial são confiáveis para prever a demanda em pronto-socorro?
• Modelos de aprendizado de máquina são confiáveis para prever tromboembolismo venoso em pacientes hospitalizados?
• Modelos de aprendizado de máquina são superiores aos escores clínicos tradicionais na predição precoce de mortalidade na síndrome do desconforto respiratório agudo?
• Modelos de predição de perda dentária em periodontite são confiáveis para uso clínico?

Todas as perguntas sobre Regulação e validação clínica de IA · Todos os temas · Versão em markdown