Estudos que comparam inteligência artificial a clínicos em imagem médica têm qualidade metodológica suficiente para orientar a prática?
Resposta curta: Uma revisão sistemática mostrou que a maioria dos estudos não randomizados que comparam deep learning a clínicos em imagem médica não é prospectiva, tem alto risco de viés e adere de forma subótima aos padrões de relato. Dados e código raramente estão disponíveis, e os grupos comparadores de especialistas costumam ser pequenos. Ensaios randomizados ainda são poucos.
Resposta
A revisão sistemática analisou estudos que compararam o desempenho de algoritmos de deep learning em imagem médica com o de clínicos especialistas. Foram incluídos registros de ensaios randomizados e estudos não randomizados publicados entre 2010 e junho de 2019. O objetivo foi examinar desenho, padrões de relato, risco de viés e conclusões desses estudos.
Os resultados mostram que apenas 10 registros de ensaios clínicos randomizados foram encontrados, sendo dois publicados e oito em andamento. Entre os 81 estudos não randomizados, somente nove eram prospectivos e seis foram testados em ambiente clínico real. O número mediano de especialistas no grupo comparador foi de apenas quatro. O acesso completo aos conjuntos de dados e ao código foi severamente limitado, indisponível em 95% e 93% dos estudos, respectivamente.
O risco geral de viés foi alto em 58 dos 81 estudos, e a aderência aos padrões de relato foi subótima, com menos de 50% de adesão em 12 dos 29 itens do TRIPOD. Apesar disso, 61 dos 81 estudos afirmaram no resumo que o desempenho da inteligência artificial era pelo menos comparável ou melhor que o dos clínicos. Apenas 31 estudos mencionaram a necessidade de estudos prospectivos ou ensaios adicionais.
Os autores concluem que poucos estudos prospectivos e ensaios randomizados existem em imagem médica. A maioria dos estudos não randomizados não é prospectiva, apresenta alto risco de viés e desvia dos padrões de relato existentes. A disponibilidade de dados e código é escassa, e os grupos comparadores humanos são frequentemente pequenos. Estudos futuros devem reduzir o risco de viés, aumentar a relevância clínica no mundo real, melhorar o relato e a transparência, e moderar adequadamente as conclusões.
O que o estudo mostrou
Revisão sistemática que incluiu registros de ensaios randomizados e estudos não randomizados que compararam deep learning em imagem médica com clínicos especialistas. Foram encontrados 10 registros de ensaios randomizados (dois publicados) e 81 estudos não randomizados, dos quais apenas nove eram prospectivos e seis testados em ambiente clínico real. O número mediano de especialistas comparadores foi quatro. O risco de viés foi alto em 58 de 81 estudos, e a adesão aos padrões de relato foi subótima. Dados e código estavam indisponíveis na maioria dos estudos.
Limitações
O resumo não informa detalhes sobre a qualidade dos estudos incluídos além do risco de viés, nem sobre possíveis limitações da própria revisão sistemática, como viés de publicação ou restrições de busca. Também não são fornecidos dados sobre heterogeneidade entre os estudos ou análises de subgrupo. O resumo não informa a magnitude dos efeitos ou a precisão das estimativas de desempenho.
Aplicação no consultório
O médico deve interpretar com cautela as alegações de que a inteligência artificial é comparável ou superior a especialistas em imagem médica, pois a maioria dos estudos tem alto risco de viés e não foi conduzida em ambiente clínico real. Na gestão do consultório, ao considerar a incorporação de ferramentas de IA, é prudente verificar se há validação prospectiva e dados de desempenho transparentes. A ausência de dados e código disponíveis limita a verificação independente. A decisão de adotar tecnologia deve considerar a necessidade de estudos mais robustos e com maior transparência.
Estudo citado
Artificial intelligence versus clinicians: systematic review of design, reporting standards, and claims of deep learning studies. BMJ (Clinical research ed.), 2020.
Autores: Nagendran M, Chen Y, Lovejoy CA, Gordon AC, Komorowski M, Harvey H, Topol EJ, Ioannidis JPA, Collins GS, Maruthappu M.
DOI: 10.1136/bmj.m689 · PubMed: PMID 32213531
Perguntas para aprofundar
- Quais são os principais riscos de viés em estudos que comparam IA a clínicos em imagem médica?
- Como a falta de disponibilidade de dados e código impacta a confiança nos resultados de estudos de IA?
- O que se espera de ensaios clínicos randomizados para validar algoritmos de deep learning em radiologia?
Mais sobre IA em diagnóstico por imagem e radiologia
- Vision transformers são superiores às redes neurais convolucionais na análise de imagens médicas?
- Como as redes adversárias generativas (GANs) estão sendo aplicadas na reconstrução de imagens médicas e qual seu impacto na prática radiológica?
- Métodos de histopatologia virtual em imagens médicas: o que a revisão sistemática revela para a prática clínica?
- A detecção automatizada de lesões ósseas por TC e RM com inteligência artificial já tem validação clínica suficiente para uso na prática?
- Como os modelos de aprendizado profundo para classificação de imagens médicas podem lidar com o deslocamento de domínio (domain shift) e quais são as estratégias de generalização disponíveis?
Todas as perguntas sobre IA em diagnóstico por imagem e radiologia · Todos os temas · Versão em markdown