# Qual é o risco de viés em estudos de modelos de predição desenvolvidos com aprendizado de máquina supervisionado?

> Uma revisão sistemática de 152 estudos publicados entre 2018 e 2019 mostrou que 87% das análises de modelos de predição com aprendizado de máquina apresentaram alto risco de viés, principalmente no domínio de análise, devido a número inadequado de eventos por preditor, manejo inadequado de dados ausentes e avaliação imprópria de overfitting.

Estudo citado: Andaur Navarro CL, Damen JAA, Takada T, Nijman SWJ, Dhiman P, Ma J et al.. Risk of bias in studies on prediction models developed using supervised machine learning techniques: systematic review. BMJ (Clinical research ed.). 2021. DOI: https://doi.org/10.1136/bmj.n2281. PubMed: https://pubmed.ncbi.nlm.nih.gov/34670780/

## Resposta

A revisão sistemática avaliou a qualidade metodológica de estudos que desenvolveram modelos de predição (diagnósticos ou prognósticos) usando aprendizado de máquina supervisionado, publicados no PubMed entre 1 de janeiro de 2018 e 31 de dezembro de 2019. Foram incluídos 152 estudos, dos quais 58 (38%) apresentavam modelos de predição diagnóstica e 94 (62%) modelos prognósticos. A ferramenta PROBAST foi aplicada para avaliar o risco de viés em quatro domínios: participantes, preditores, desfecho e análise.

Os resultados mostraram que, das 171 análises (152 modelos desenvolvidos e 19 validações externas), 148 (87%, IC 95% 81% a 91%) foram classificadas como alto risco de viés. O domínio de análise foi o mais frequentemente afetado. Entre os 152 modelos, 85 (56%, IC 95% 48% a 64%) foram desenvolvidos com número inadequado de eventos por preditor candidato, 62 (41%, IC 95% 33% a 49%) lidaram inadequadamente com dados ausentes e 59 (39%, IC 95% 31% a 47%) avaliaram overfitting de forma imprópria.

A maioria dos modelos utilizou fontes de dados apropriadas para desenvolvimento (73%, IC 95% 66% a 79%) e validação externa (74%, IC 95% 51% a 88%). No entanto, informações sobre cegamento do desfecho e dos preditores estavam ausentes em 60 (40%, IC 95% 32% a 47%) e 79 (52%, IC 95% 44% a 60%) dos modelos desenvolvidos, respectivamente.

Os autores concluem que a maioria dos estudos sobre modelos de predição baseados em aprendizado de máquina apresenta qualidade metodológica ruim e alto risco de viés. Os fatores contribuintes incluem tamanho pequeno do estudo, manejo inadequado de dados ausentes e falha em lidar com overfitting. Esforços para melhorar o desenho, condução, relato e validação desses estudos são necessários para impulsionar a aplicação clínica desses modelos.

Para o médico brasileiro, esses achados reforçam a necessidade de cautela ao interpretar e aplicar modelos de aprendizado de máquina na prática clínica, priorizando estudos com baixo risco de viés e validação adequada.

## O que o estudo mostrou

Revisão sistemática de 152 estudos publicados entre 2018 e 2019, avaliando modelos de predição com aprendizado de máquina supervisionado. A ferramenta PROBAST foi aplicada a 152 modelos desenvolvidos e 19 validações externas (171 análises). Destas, 148 (87%, IC 95% 81% a 91%) apresentaram alto risco de viés. O domínio de análise foi o mais afetado: 85 modelos (56%) tiveram número inadequado de eventos por preditor, 62 (41%) manejo inadequado de dados ausentes e 59 (39%) avaliação imprópria de overfitting. Informações sobre cegamento de desfecho e preditores estavam ausentes em 40% e 52% dos modelos, respectivamente.

## Limitações

O resumo não informa limitações do estudo, como possíveis vieses de publicação ou restrições da busca (apenas PubMed, período de 2018-2019). Também não detalha a heterogeneidade entre as especialidades médicas ou os tipos de modelos. A avaliação foi restrita aos dados publicados, sem acesso a informações não relatadas.

## Aplicação no consultório

Ao considerar a implementação de modelos de aprendizado de máquina na prática clínica, o médico deve avaliar criticamente a qualidade metodológica dos estudos que os sustentam. A alta prevalência de alto risco de viés sugere que muitos modelos podem não ser confiáveis para decisões individualizadas. No consultório, isso implica priorizar ferramentas validadas externamente e com baixo risco de viés, além de evitar a adoção acrítica de algoritmos baseados em estudos com falhas metodológicas. A gestão do consultório pode incluir a capacitação da equipe para interpretar criticamente tais evidências.

## Perguntas para aprofundar

- Como avaliar o risco de viés em modelos de predição com aprendizado de máquina antes de aplicá-los na prática clínica?
- Quais são os principais fatores que contribuem para o alto risco de viés em estudos de aprendizado de máquina na medicina?
- Qual o impacto da falta de cegamento de desfecho e preditores na confiabilidade de modelos preditivos?

Tema: Regulação e validação clínica de IA. Página: https://alphadoctor.com.br/ciencia/ia-regulacao-validacao/qual-e-o-risco-de-vies-em-estudos-de-modelos-de-predicao-desenvolvidos-com/

Conteúdo educacional para profissionais de saúde, baseado no resumo do artigo citado. Não substitui a leitura do estudo original nem avaliação clínica.