# Quais são as lacunas de relato e validação nos estudos de revisão sistemática sobre aplicações de aprendizado de máquina em saúde?

> Revisão sistemática de revisões publicadas entre 2010 e 2023, com 220 revisões e 10.462 algoritmos, mostrou foco em predição clínica e prognóstico em oncologia e neurologia com imagens. Acurácia, especificidade e sensibilidade foram relatadas em 56%, 28% e 25% das revisões. Validação interna e externa apareceram em 53% e menos de 1% dos casos.

Estudo citado: Kolasa K, Admassu B, Hołownia-Voloskova M, Kędzior KJ, Poirrier JE, Perni S. Systematic reviews of machine learning in healthcare: a literature review. Expert review of pharmacoeconomics & outcomes research. 2024. DOI: https://doi.org/10.1080/14737167.2023.2279107. PubMed: https://pubmed.ncbi.nlm.nih.gov/37955147/

## Resposta

O estudo é uma revisão sistemática de revisões sistemáticas que avaliou aplicações de aprendizado de máquina (ML) na área da saúde. Foram incluídas publicações entre 1 de janeiro de 2010 e 27 de março de 2023, totalizando 220 revisões sistemáticas que, juntas, cobrem 10.462 algoritmos de ML. O objetivo foi mapear o panorama e identificar lacunas de relato e validação.

Os resultados mostram que as principais aplicações de inteligência artificial em medicina estão relacionadas à predição clínica e prognóstico de doenças, especialmente em oncologia e neurologia, com uso de dados de imagem. As métricas de desempenho mais frequentemente reportadas foram acurácia (56% das revisões), especificidade (28%) e sensibilidade (25%). A validação interna foi relatada em 53% dos casos, enquanto a validação externa apareceu em menos de 1% das revisões.

Em relação aos modelos, a abordagem mais comum foi redes neurais (2.454 algoritmos), seguida por máquina de vetores de suporte (1.578) e floresta aleatória/árvores de decisão (1.522). Esses dados refletem a diversidade de técnicas empregadas, mas também evidenciam que a maioria dos estudos não fornece informações completas sobre validação externa, o que limita a generalização dos achados.

Os autores destacam lacunas consideráveis no relato do desempenho dos modelos de ML, tanto em validação interna quanto externa. A revisão sugere que maior acessibilidade aos dados de saúde para desenvolvedores pode acelerar a adoção de algoritmos de ML na prática clínica. No entanto, o resumo não informa detalhes sobre a qualidade metodológica das revisões incluídas ou sobre possíveis vieses de publicação.

Para o médico brasileiro, esses achados reforçam a necessidade de cautela ao interpretar estudos sobre ML em saúde, especialmente pela baixa frequência de validação externa. A aplicação clínica desses algoritmos requer validação robusta em diferentes populações e contextos antes de serem incorporados à rotina. O resumo não fornece informações sobre amostras específicas ou desenhos dos estudos primários incluídos nas revisões.

## O que o estudo mostrou

Trata-se de uma revisão sistemática de revisões sistemáticas publicadas entre 1 de janeiro de 2010 e 27 de março de 2023. Foram revisadas 220 revisões sistemáticas cobrindo 10.462 algoritmos de ML. As principais aplicações foram predição clínica e prognóstico em oncologia e neurologia com imagens. Acurácia, especificidade e sensibilidade foram reportadas em 56%, 28% e 25% das revisões, respectivamente. Validação interna e externa foram relatadas em 53% e menos de 1% dos casos. Redes neurais foram o modelo mais comum (2.454 algoritmos), seguidas por máquina de vetores de suporte (1.578) e floresta aleatória/árvores de decisão (1.522).

## Limitações

O resumo não informa a qualidade metodológica das revisões incluídas, nem se houve avaliação de viés de publicação. Também não detalha as características das populações ou dos estudos primários, nem os critérios de inclusão das revisões. A baixa frequência de validação externa limita a generalização dos achados. O resumo não fornece informações sobre amostra de pacientes ou desenho dos estudos originais.

## Aplicação no consultório

Os achados alertam para a necessidade de avaliar criticamente a validade externa dos modelos de ML antes de aplicá-los na prática clínica. No consultório, ao considerar ferramentas de apoio à decisão baseadas em ML, o médico deve verificar se foram validadas em populações semelhantes à sua. A gestão do consultório pode incluir a criação de critérios para seleção de tecnologias, priorizando aquelas com relato completo de desempenho e validação externa. Além disso, a revisão destaca a importância de maior acesso a dados para desenvolvedores, o que pode influenciar parcerias com instituições de pesquisa.

## Perguntas para aprofundar

- Como interpretar a acurácia de modelos de aprendizado de máquina em estudos sem validação externa?
- Quais são as implicações da baixa validação externa para a aplicação clínica de algoritmos em oncologia e neurologia?
- Que critérios um médico deve usar para avaliar a confiabilidade de revisões sistemáticas sobre IA em saúde?

Tema: IA em oncologia. Página: https://alphadoctor.com.br/ciencia/ia-oncologia/quais-sao-as-lacunas-de-relato-e-validacao-nos-estudos-de-revisao-sistematica/

Conteúdo educacional para profissionais de saúde, baseado no resumo do artigo citado. Não substitui a leitura do estudo original nem avaliação clínica.