Ética, viés e explicabilidade da IA em saúde

Modelos de aprendizado de máquina são confiáveis para prever complicações do diabetes tipo 2?

Resposta

A revisão sistemática avaliou a qualidade e o desempenho de modelos de aprendizado de máquina desenvolvidos para prever complicações microvasculares e macrovasculares em adultos com diabetes tipo 2. Foram incluídos 32 estudos, totalizando 87 modelos, o que mostra um volume crescente de publicações nessa área, mas também uma grande heterogeneidade de abordagens.

As redes neurais foram os modelos mais utilizados, e idade, duração do diabetes e índice de massa corporal apareceram como preditores comuns entre os modelos. O desempenho foi medido pela área sob a curva ROC, considerando AUC >0,75 como discriminação claramente útil. Apenas 36% dos modelos atingiram esse patamar, indicando que a maioria ainda não demonstra desempenho discriminativo claramente útil.

Quando comparados a métodos não baseados em aprendizado de máquina, a maioria dos modelos reportou diferença relativa média de AUC positiva, e o random forest apresentou o melhor desempenho geral tanto para desfechos microvasculares quanto macrovasculares. Esse achado sugere vantagem comparativa, mas não garante superioridade clínica, pois a qualidade metodológica dos estudos foi limitada.

A maioria dos estudos apresentou alto risco de viés, o que compromete a confiança nos resultados reportados. Os autores concluem que os modelos atuais permanecem largamente exploratórios e que estudos de validação externa são necessários antes da implementação clínica. O protocolo da revisão foi registrado no Open Science Framework.

Para o médico, o recado é de cautela: os modelos ainda não estão prontos para substituir o julgamento clínico na predição de complicações do diabetes tipo 2. A incorporação na rotina exigiria validação em populações distintas e avaliação de risco de viés, além de considerar como esses instrumentos se integrariam ao fluxo do consultório.

O que o estudo mostrou

Revisão sistemática conduzida em MEDLINE, Embase, Cochrane Library, Web of Science e DBLP, segundo a checklist PRISMA. De 13 606 artigos triados, 32 estudos com 87 modelos de aprendizado de máquina foram incluídos. Redes neurais foram os modelos mais frequentes (n = 15). Idade, duração do diabetes e índice de massa corporal foram preditores comuns. Apenas 36% dos modelos mostraram discriminação claramente útil (AUC >0,75); random forest teve o melhor desempenho geral; a maioria dos estudos (n = 31) apresentou alto risco de viés.

Limitações

O resumo não informa detalhes sobre as populações incluídas, os critérios específicos de risco de viés nem a magnitude das diferenças de AUC. A maioria dos estudos teve alto risco de viés, e os modelos permanecem exploratórios, sem validação externa, o que limita a generalização e a aplicação clínica dos achados.

Aplicação no consultório

Os achados não sustentam adotar modelos de aprendizado de máquina na rotina para prever complicações do diabetes tipo 2. Na gestão do consultório, a decisão de incorporar ferramentas preditivas deve aguardar validação externa e avaliação de risco de viés. Enquanto isso, o foco permanece na avaliação clínica estruturada e no acompanhamento longitudinal, sem substituir o julgamento médico por algoritmos ainda exploratórios.

Estudo citado

Evaluation of Machine Learning Methods Developed for Prediction of Diabetes Complications: A Systematic Review. Journal of diabetes science and technology, 2023.
Autores: Tan KR, Seng JJB, Kwan YH, Chen YJ, Zainudin SB, Loh DHF, Liu N, Low LL.
DOI: 10.1177/19322968211056917 · PubMed: PMID 34727783

Perguntas para aprofundar

• Quais critérios de risco de viés foram usados para avaliar os modelos de aprendizado de máquina?
• Como o random forest se compara a outros modelos na predição de complicações microvasculares e macrovasculares?
• O que falta para que modelos de aprendizado de máquina possam ser implementados na prática clínica?

Mais sobre Ética, viés e explicabilidade da IA em saúde

• Modelos de aprendizado de máquina são melhores que ferramentas clínicas para prever a necessidade de protocolo de hemorragia maciça no trauma?
• O aprendizado de máquina pode apoiar o diagnóstico e o manejo da doença arterial periférica na prática clínica?
• Modelos de machine learning têm bom desempenho na predição e diagnóstico do câncer colorretal?
• Modelos de machine learning superam os modelos estatísticos convencionais na predição de eventos cardiovasculares em pacientes em diálise?
• Modelos preditivos em mielite têm boa discriminação, mas qual é a qualidade metodológica e a aplicabilidade clínica segundo o PROBAST?

Todas as perguntas sobre Ética, viés e explicabilidade da IA em saúde · Todos os temas · Versão em markdown