Regulação e validação clínica de IA

Modelos de machine learning superam os modelos estatísticos tradicionais na predição de desfechos em doenças inflamatórias intestinais?

Resposta

A revisão sistemática reuniu estudos que derivaram ou validaram modelos de machine learning baseados em dados clínicos coletados rotineiramente em pacientes com doenças inflamatórias intestinais, comparando seu desempenho preditivo com o de modelos estatísticos tradicionais para o mesmo desfecho. O interesse crescente por essas abordagens motivou a síntese e a avaliação crítica da evidência disponível.

Os temas abordados incluíram predição de resposta ao tratamento com biológicos e tiopurinas, predição de atividade longitudinal da doença e de complicações e desfechos em pacientes com colite ulcerativa grave aguda. Os modelos mais utilizados foram algoritmos baseados em árvores, que são abordagens de classificação obtidas por aprendizado supervisionado.

Os modelos de machine learning superaram os modelos estatísticos tradicionais na predição de risco. Esse achado é relevante para o médico que acompanha pacientes com doenças inflamatórias intestinais, mas precisa ser lido com cautela diante da qualidade metodológica dos estudos incluídos.

A avaliação com a ferramenta PROBAST mostrou que a maioria dos modelos apresentava alto risco de viés, e apenas um foi validado externamente. Assim, o desempenho superior observado não pode ser traduzido automaticamente em uso clínico rotineiro, pois a validação externa e a aplicabilidade clínica ainda são lacunas importantes.

Os autores concluem que estudos futuros são necessários, com foco especial em validação externa e aplicabilidade clínica. Para a prática, isso significa que esses modelos são promissores, mas ainda não estão prontos para substituir a avaliação clínica habitual sem evidência adicional de validação.

O que o estudo mostrou

Trata-se de revisão sistemática que identificou estudos de coorte que derivaram e/ou validaram modelos de machine learning baseados em dados clínicos rotineiros em pacientes com doenças inflamatórias intestinais, comparando o desempenho preditivo com modelos estatísticos tradicionais para o mesmo desfecho. Foram incluídos 13 estudos, com temas de predição de resposta a biológicos e tiopurinas, atividade longitudinal da doença, complicações e desfechos em colite ulcerativa grave aguda. Os modelos mais comuns foram algoritmos baseados em árvores. Os modelos de machine learning superaram os tradicionais, mas a maioria tinha alto risco de viés e apenas um foi validado externamente.

Limitações

A principal limitação apontada é metodológica: a maioria dos modelos apresentava alto risco de viés segundo a ferramenta PROBAST, e apenas um modelo foi validado externamente. O resumo não informa o tamanho amostral dos estudos incluídos nem detalhes sobre heterogeneidade entre eles, o que restringe conclusões sobre a robustez e a generalização dos achados.

Aplicação no consultório

Na prática clínica e na gestão do consultório, os achados sugerem cautela antes de incorporar modelos de machine learning à rotina de decisão em doenças inflamatórias intestinais. O desempenho superior em relação aos modelos tradicionais é promissor, mas o alto risco de viés e a escassez de validação externa indicam que essas ferramentas ainda não devem substituir o julgamento clínico. O médico pode acompanhar a literatura sobre validação externa e aplicabilidade clínica antes de adotar tais modelos em protocolos assistenciais.

Estudo citado

Machine Learning-based Prediction Models for Diagnosis and Prognosis in Inflammatory Bowel Diseases: A Systematic Review. Journal of Crohn's & colitis, 2022.
Autores: Nguyen NH, Picetti D, Dulai PS, Jairath V, Sandborn WJ, Ohno-Machado L, Chen PL, Singh S.
DOI: 10.1093/ecco-jcc/jjab155 · PubMed: PMID 34492100

Perguntas para aprofundar

• Quais critérios de validação externa devem ser exigidos antes de adotar um modelo de machine learning na prática gastroenterológica?
• Como o alto risco de viés segundo o PROBAST afeta a confiança nos modelos preditivos em doenças inflamatórias intestinais?
• Quais desfechos em doenças inflamatórias intestinais já foram alvo de modelos de machine learning baseados em dados clínicos rotineiros?

Mais sobre Regulação e validação clínica de IA

• Modelos de predição de perda dentária em periodontite são confiáveis para uso clínico?
• Qual é o risco de viés em estudos de modelos de predição desenvolvidos com aprendizado de máquina supervisionado?
• Modelos de aprendizado de máquina são confiáveis para prever tromboembolismo venoso em pacientes hospitalizados?
• Práticas de "spin" e padrões de relato inadequados também estão presentes em estudos de modelos preditivos com aprendizado de máquina?
• Modelos de aprendizado de máquina superam os métodos usuais de predição diagnóstica e prognóstica no pronto-socorro?

Todas as perguntas sobre Regulação e validação clínica de IA · Todos os temas · Versão em markdown