Regulação e validação clínica de IA

Qual é o risco de viés em estudos de modelos de predição desenvolvidos com aprendizado de máquina supervisionado?

Resposta

A revisão sistemática avaliou a qualidade metodológica de estudos que desenvolveram modelos de predição (diagnósticos ou prognósticos) usando aprendizado de máquina supervisionado, publicados no PubMed entre 1 de janeiro de 2018 e 31 de dezembro de 2019. Foram incluídos 152 estudos, dos quais 58 (38%) apresentavam modelos de predição diagnóstica e 94 (62%) modelos prognósticos. A ferramenta PROBAST foi aplicada para avaliar o risco de viés em quatro domínios: participantes, preditores, desfecho e análise.

Os resultados mostraram que, das 171 análises (152 modelos desenvolvidos e 19 validações externas), 148 (87%, IC 95% 81% a 91%) foram classificadas como alto risco de viés. O domínio de análise foi o mais frequentemente afetado. Entre os 152 modelos, 85 (56%, IC 95% 48% a 64%) foram desenvolvidos com número inadequado de eventos por preditor candidato, 62 (41%, IC 95% 33% a 49%) lidaram inadequadamente com dados ausentes e 59 (39%, IC 95% 31% a 47%) avaliaram overfitting de forma imprópria.

A maioria dos modelos utilizou fontes de dados apropriadas para desenvolvimento (73%, IC 95% 66% a 79%) e validação externa (74%, IC 95% 51% a 88%). No entanto, informações sobre cegamento do desfecho e dos preditores estavam ausentes em 60 (40%, IC 95% 32% a 47%) e 79 (52%, IC 95% 44% a 60%) dos modelos desenvolvidos, respectivamente.

Os autores concluem que a maioria dos estudos sobre modelos de predição baseados em aprendizado de máquina apresenta qualidade metodológica ruim e alto risco de viés. Os fatores contribuintes incluem tamanho pequeno do estudo, manejo inadequado de dados ausentes e falha em lidar com overfitting. Esforços para melhorar o desenho, condução, relato e validação desses estudos são necessários para impulsionar a aplicação clínica desses modelos.

Para o médico brasileiro, esses achados reforçam a necessidade de cautela ao interpretar e aplicar modelos de aprendizado de máquina na prática clínica, priorizando estudos com baixo risco de viés e validação adequada.

O que o estudo mostrou

Revisão sistemática de 152 estudos publicados entre 2018 e 2019, avaliando modelos de predição com aprendizado de máquina supervisionado. A ferramenta PROBAST foi aplicada a 152 modelos desenvolvidos e 19 validações externas (171 análises). Destas, 148 (87%, IC 95% 81% a 91%) apresentaram alto risco de viés. O domínio de análise foi o mais afetado: 85 modelos (56%) tiveram número inadequado de eventos por preditor, 62 (41%) manejo inadequado de dados ausentes e 59 (39%) avaliação imprópria de overfitting. Informações sobre cegamento de desfecho e preditores estavam ausentes em 40% e 52% dos modelos, respectivamente.

Limitações

O resumo não informa limitações do estudo, como possíveis vieses de publicação ou restrições da busca (apenas PubMed, período de 2018-2019). Também não detalha a heterogeneidade entre as especialidades médicas ou os tipos de modelos. A avaliação foi restrita aos dados publicados, sem acesso a informações não relatadas.

Aplicação no consultório

Ao considerar a implementação de modelos de aprendizado de máquina na prática clínica, o médico deve avaliar criticamente a qualidade metodológica dos estudos que os sustentam. A alta prevalência de alto risco de viés sugere que muitos modelos podem não ser confiáveis para decisões individualizadas. No consultório, isso implica priorizar ferramentas validadas externamente e com baixo risco de viés, além de evitar a adoção acrítica de algoritmos baseados em estudos com falhas metodológicas. A gestão do consultório pode incluir a capacitação da equipe para interpretar criticamente tais evidências.

Estudo citado

Risk of bias in studies on prediction models developed using supervised machine learning techniques: systematic review. BMJ (Clinical research ed.), 2021.
Autores: Andaur Navarro CL, Damen JAA, Takada T, Nijman SWJ, Dhiman P, Ma J, Collins GS, Bajpai R, Riley RD, Moons KGM, Hooft L.
DOI: 10.1136/bmj.n2281 · PubMed: PMID 34670780

Perguntas para aprofundar

• Como avaliar o risco de viés em modelos de predição com aprendizado de máquina antes de aplicá-los na prática clínica?
• Quais são os principais fatores que contribuem para o alto risco de viés em estudos de aprendizado de máquina na medicina?
• Qual o impacto da falta de cegamento de desfecho e preditores na confiabilidade de modelos preditivos?

Mais sobre Regulação e validação clínica de IA

• Modelos de machine learning superam os modelos estatísticos tradicionais na predição de desfechos em doenças inflamatórias intestinais?
• Modelos de aprendizado de máquina são confiáveis para prever tromboembolismo venoso em pacientes hospitalizados?
• Modelos de inteligência artificial e aprendizado de máquina são confiáveis para prever falha no tratamento da tuberculose?
• Modelos de predição de perda dentária em periodontite são confiáveis para uso clínico?
• Como os ensaios clínicos randomizados de intervenções de aprendizado de máquina em saúde estão sendo conduzidos e reportados?

Todas as perguntas sobre Regulação e validação clínica de IA · Todos os temas · Versão em markdown