Modelos de aprendizado de máquina para imagem diagnóstica em ortopedia são reportados com qualidade adequada?
Resposta curta: Revisão sistemática com 91 estudos mostrou completude média de 63% nos itens do CLAIM. Métricas de desempenho, manejo de dados ausentes e pré-processamento foram reportados corretamente em apenas 2%, 8% e 13% dos estudos. Pelo QUADAS-2, 18% apresentaram alto risco de viés na seleção de pacientes.
Resposta
A revisão sistemática teve como objetivo avaliar a completude do checklist CLAIM e o risco de viés pelo QUADAS-2 em modelos de aprendizado de máquina aplicados a imagem diagnóstica em ortopedia. Foram incluídos artigos publicados nos últimos 5 anos, e dois revisores extraíram os dados de forma independente, com resolução de discrepâncias por discussão com revisores adicionais.
Após triagem de 7507 artigos, 91 preencheram os critérios. A completude média dos itens do CLAIM foi de 63% (DP ± 28%). Os itens com pior relato foram o 28 (métricas de desempenho do modelo), o 13 (manejo de dados ausentes) e o 9 (etapas de pré-processamento dos dados), com apenas 2% (2/91), 8% (7/91) e 13% (12/91) dos estudos reportando-os corretamente, respectivamente.
A avaliação pelo QUADAS-2 mostrou que o domínio de seleção de pacientes apresentou o maior risco de viés: 18% (16/91) dos estudos foram classificados como alto risco e 32% (29/91) como risco desconhecido. Isso indica que uma parcela substancial dos trabalhos pode ter limitações metodológicas que comprometem a validade dos resultados.
Os autores concluem que o relato de informações relevantes, como manejo de dados ausentes e etapas de pré-processamento, é limitado nesses estudos, e que muitos apresentam alto risco de viés. Recomenda-se que futuros estudos descrevendo modelos de aprendizado de máquina para imagem diagnóstica sigam padrões metodológicos reconhecidos para maximizar a qualidade e a aplicabilidade dos modelos.
O que o estudo mostrou
Revisão sistemática que incluiu 91 artigos publicados nos últimos 5 anos sobre modelos de aprendizado de máquina para imagem diagnóstica em ortopedia. A completude média dos itens do checklist CLAIM foi de 63% (DP ± 28%). Os itens menos reportados foram métricas de desempenho (2%, 2/91), manejo de dados ausentes (8%, 7/91) e pré-processamento de dados (13%, 12/91). Pelo QUADAS-2, o domínio de seleção de pacientes teve 18% (16/91) de alto risco de viés e 32% (29/91) de risco desconhecido.
Limitações
O resumo não informa detalhes sobre a qualidade metodológica dos estudos incluídos além do CLAIM e QUADAS-2, nem sobre possíveis vieses de publicação ou heterogeneidade entre os estudos. Também não são descritas as características específicas das populações ou dos modelos avaliados, limitando a generalização dos achados.
Aplicação no consultório
Os achados alertam o médico ortopedista sobre a necessidade de avaliar criticamente a qualidade dos modelos de aprendizado de máquina antes de aplicá-los na prática clínica. Ao considerar incorporar ferramentas de IA no consultório, é importante verificar se os estudos de validação reportam adequadamente métricas de desempenho, manejo de dados ausentes e pré-processamento, além de avaliar o risco de viés, especialmente na seleção de pacientes. A gestão do consultório pode se beneficiar de políticas que exijam transparência metodológica dos fornecedores de tecnologia.
Estudo citado
Quality assessment of machine learning models for diagnostic imaging in orthopaedics: A systematic review. Artificial intelligence in medicine, 2022.
Autores: Lans A, Pierik RJB, Bales JR, Fourman MS, Shin D, Kanbier LN, Rifkin J, DiGiovanni WH, Chopra RR, Moeinzad R, Verlaan JJ, Schwab JH.
DOI: 10.1016/j.artmed.2022.102396 · PubMed: PMID 36207080
Perguntas para aprofundar
- Quais itens do checklist CLAIM são mais frequentemente omitidos em estudos de IA para imagem ortopédica?
- Como o risco de viés pelo QUADAS-2 impacta a confiabilidade dos modelos de aprendizado de máquina em ortopedia?
- Que recomendações podem melhorar o relato de modelos de IA em imagem diagnóstica ortopédica?
Mais sobre Regulação e validação clínica de IA
- Modelos de aprendizado de máquina são confiáveis para prever tromboembolismo venoso em pacientes hospitalizados?
- Como os ensaios clínicos randomizados de intervenções de aprendizado de máquina em saúde estão sendo conduzidos e reportados?
- Qual é o risco de viés em estudos de modelos de predição desenvolvidos com aprendizado de máquina supervisionado?
- Modelos de aprendizado de máquina superam os métodos usuais de predição diagnóstica e prognóstica no pronto-socorro?
- Como o aprendizado de máquina pode melhorar a farmacovigilância de vacinas de mRNA?
Todas as perguntas sobre Regulação e validação clínica de IA · Todos os temas · Versão em markdown