Regulação e validação clínica de IA

Como os ensaios clínicos randomizados de intervenções de aprendizado de máquina em saúde estão sendo conduzidos e reportados?

Resposta

A revisão sistemática buscou ensaios clínicos randomizados (RCTs) de intervenções de aprendizado de máquina na área da saúde, publicados até outubro de 2021. Foram encontrados 41 RCTs, com mediana de 294 participantes (variação de 17 a 2488). A maioria foi publicada em 2021 (16 RCTs, 39%), realizada em um único centro (21, 51%) e envolvia endoscopia (15, 37%).

Nenhum ensaio aderiu integralmente aos padrões CONSORT-AI. As razões mais comuns para não adesão foram: não avaliar dados de entrada de baixa qualidade ou indisponíveis (38 ensaios, 93%), não analisar erros de desempenho (38, 93%) e não incluir declaração sobre disponibilidade de código ou algoritmo (37, 90%). O risco de viés geral foi alto em 7 ensaios (17%).

Apenas 11 ensaios (27%) relataram dados de raça e etnia; nesses, a mediana da proporção de participantes de grupos minoritários sub-representados foi de 21% (variação de 0% a 51%). Isso indica falta de inclusão de populações diversas nos estudos.

Os autores concluem que, apesar do grande número de algoritmos de aprendizado de máquina em desenvolvimento, poucos RCTs foram conduzidos. Entre os publicados, há alta variabilidade na adesão aos padrões de relato, risco de viés e falta de participantes de minorias sub-representadas. Esses achados devem ser considerados no design e relato de futuros RCTs.

O que o estudo mostrou

Revisão sistemática que buscou RCTs de intervenções de aprendizado de máquina em saúde em diversas bases de dados até outubro de 2021. Foram incluídos 41 RCTs, com mediana de 294 participantes (variação 17-2488). A maioria foi publicada em 2021 (16, 39%), realizada em um único centro (21, 51%) e envolvia endoscopia (15, 37%). Nenhum ensaio aderiu a todos os padrões CONSORT-AI; as não conformidades mais comuns foram não avaliar dados de entrada de baixa qualidade ou indisponíveis (38, 93%), não analisar erros de desempenho (38, 93%) e não declarar disponibilidade de código ou algoritmo (37, 90%). Risco de viés geral foi alto em 7 ensaios (17%). Apenas 11 ensaios (27%) relataram raça e etnia, com mediana de 21% de minorias sub-representadas (variação 0%-51%).

Limitações

O resumo não informa limitações explícitas do estudo. No entanto, a revisão se restringe a artigos publicados até outubro de 2021 e pode não capturar ensaios mais recentes. Além disso, a heterogeneidade das intervenções e a falta de dados sobre características dos participantes em muitos ensaios limitam generalizações. O resumo também não detalha a qualidade metodológica dos estudos incluídos além do risco de viés.

Aplicação no consultório

Para o médico, os achados reforçam a necessidade de avaliar criticamente a evidência por trás de ferramentas de aprendizado de máquina antes de adotá-las na prática clínica. A baixa adesão a padrões de relato e o alto risco de viés em alguns ensaios sugerem cautela na incorporação dessas tecnologias. No consultório, ao considerar o uso de tais ferramentas, é importante verificar se há validação em populações diversas e se os resultados são aplicáveis ao seu contexto. A gestão do consultório pode se beneficiar de políticas que exijam transparência sobre o desempenho e as limitações dos algoritmos.

Estudo citado

Randomized Clinical Trials of Machine Learning Interventions in Health Care: A Systematic Review. JAMA network open, 2022.
Autores: Plana D, Shung DL, Grimshaw AA, Saraf A, Sung JJY, Kann BH.
DOI: 10.1001/jamanetworkopen.2022.33946 · PubMed: PMID 36173632

Perguntas para aprofundar

• Quais são os principais critérios do CONSORT-AI para relato de ensaios clínicos com intervenções de inteligência artificial?
• Como o risco de viés em ensaios de aprendizado de máquina pode influenciar a decisão de adotar uma ferramenta na prática clínica?
• Qual a importância da inclusão de minorias sub-representadas em ensaios clínicos de algoritmos de saúde?

Mais sobre Regulação e validação clínica de IA

• Qual é o risco de viés em estudos de modelos de predição desenvolvidos com aprendizado de máquina supervisionado?
• Modelos de aprendizado de máquina são confiáveis para prever tromboembolismo venoso em pacientes hospitalizados?
• Quais fatores influenciam a implementação de aplicações de aprendizado de máquina em organizações de saúde?
• Modelos de aprendizado de máquina para imagem diagnóstica em ortopedia são reportados com qualidade adequada?
• Métodos de aprendizado de máquina podem prever a recuperação funcional após AVC e qual a qualidade metodológica desses estudos?

Todas as perguntas sobre Regulação e validação clínica de IA · Todos os temas · Versão em markdown