Qual é a evidência que sustenta a aprovação de algoritmos de aprendizado de máquina pela FDA em neurorradiologia?
Resposta curta: Uma revisão sistemática avaliou os 53 algoritmos aprovados pela FDA para o sistema nervoso central e encontrou evidências limitadas: apenas 26 tinham publicações revisadas por pares, 15 tinham métricas de desempenho, 24 tinham validação externa e 7 tinham estudos clínicos. Há uma lacuna entre aprovação e utilização clínica, sugerindo necessidade de mais evidências e padronização.
Resposta
A revisão sistemática identificou 92 artigos que atendiam aos critérios de inclusão, cobrindo 26 dos 53 algoritmos aprovados pela FDA para aplicações no sistema nervoso central. Desses 26, 10 tinham apenas uma única publicação revisada por pares, indicando evidência científica escassa para muitos algoritmos.
Métricas de desempenho estavam disponíveis para 15 algoritmos, enquanto estudos de validação externa existiam para 24. Apenas 7 algoritmos tinham estudos explorando seu uso na prática clínica, com foco em eficiência de fluxo de trabalho, economia de custos e desfechos clínicos.
Os autores concluem que há uma lacuna significativa entre a aprovação regulatória e a utilização clínica desses algoritmos. Eles recomendam melhorias no processo, como exigir evidências convincentes de que os algoritmos funcionam conforme o pretendido, estabelecer tamanhos mínimos de amostra, padronizar a divulgação de métricas de desempenho e exigir aplicação clínica antes do uso generalizado.
Essas recomendações visam fortalecer a base de evidências para a aprovação de algoritmos de aprendizado de máquina, servindo como referência para futuras pesquisas sobre estruturas regulatórias ideais em todo o mundo.
Para o médico brasileiro, o estudo destaca a importância de avaliar criticamente a evidência disponível para algoritmos aprovados, considerando que a aprovação regulatória não garante validação clínica robusta.
O que o estudo mostrou
Revisão sistemática da literatura primária sobre os 53 algoritmos de aprendizado de máquina aprovados pela FDA com aplicações no sistema nervoso central, publicados até 25 de janeiro de 2022. Foram identificados 1505 estudos, dos quais 92 preencheram critérios de extração e inclusão. Estudos foram encontrados para 26 dos 53 algoritmos; 10 tinham apenas uma publicação revisada por pares. Métricas de desempenho estavam disponíveis para 15 algoritmos, validação externa para 24 e estudos de prática clínica para 7. Os estudos clínicos focaram em eficiência de fluxo de trabalho, economia de custos e desfechos clínicos.
Limitações
O resumo não informa detalhes sobre o desenho dos estudos incluídos, a qualidade metodológica dos mesmos ou possíveis vieses de publicação. Também não são fornecidas informações sobre a população de pacientes ou os tipos específicos de algoritmos. A revisão se restringe a artigos publicados até janeiro de 2022 e pode não refletir evidências mais recentes. Além disso, a busca foi limitada a quatro bases de dados, o que pode ter deixado de incluir estudos relevantes.
Aplicação no consultório
O médico deve estar ciente de que a aprovação regulatória de algoritmos de IA não garante evidência clínica robusta. Ao considerar a incorporação dessas ferramentas na prática, é prudente verificar a existência de estudos de validação externa e métricas de desempenho publicadas. Para a gestão do consultório, isso implica avaliar criticamente fornecedores e exigir transparência sobre a evidência que sustenta o produto. A adoção de algoritmos sem validação clínica adequada pode impactar desfechos e custos, sendo recomendável priorizar aqueles com estudos em cenários reais.
Estudo citado
FDA-approved machine learning algorithms in neuroradiology: A systematic review of the current evidence for approval. Artificial intelligence in medicine, 2023.
Autores: Yearley AG, Goedmakers CMW, Panahi A, Doucette J, Rana A, Ranganathan K, Smith TR.
DOI: 10.1016/j.artmed.2023.102607 · PubMed: PMID 37673576
Perguntas para aprofundar
- Quais são os critérios da FDA para aprovação de algoritmos de aprendizado de máquina em neurorradiologia?
- Como a validação externa de algoritmos de IA pode ser incorporada na prática clínica diária?
- Quais métricas de desempenho são essenciais para avaliar algoritmos de IA antes da adoção no consultório?
Mais sobre Regulação e validação clínica de IA
- A análise de EEG com inteligência artificial já é confiável para apoiar o diagnóstico de transtornos neurológicos e oculomotores na prática clínica?
- Como a inteligência artificial pode ser integrada à prática cirúrgica e quais são os desafios éticos e de validação clínica?
- A análise de ECG por inteligência artificial já é confiável para prever diabetes na prática clínica?
- Como a inteligência artificial e o aprendizado de máquina têm sido aplicados em cirurgia ambulatorial?
- Modelos de inteligência artificial são confiáveis para prever a demanda em pronto-socorro?
Todas as perguntas sobre Regulação e validação clínica de IA · Todos os temas · Versão em markdown