Como o aprendizado de máquina automatizado (autoML) tem se comportado em aplicações clínicas e o que isso significa para a prática médica?
Resposta curta: Uma revisão sistemática identificou 26 plataformas de autoML em 82 estudos, com desempenho comparável a modelos convencionais e benchmarks clínicos. O autoML apresentou a maior AUCROC em 75,6% dos ensaios e a maior AUPRC em 83,3%. A qualidade de relato dos estudos, porém, foi baixa, com mediana de 14 de 27 no DECIDE-AI.
Resposta
O autoML remove barreiras técnicas e tecnológicas para a construção de modelos de inteligência artificial, permitindo que profissionais sem formação avançada em programação desenvolvam modelos preditivos. A revisão sistemática buscou sumarizar as aplicações clínicas do autoML, avaliar as capacidades das plataformas utilizadas, mensurar a qualidade da evidência e comparar o desempenho do autoML com modelos desenvolvidos convencionalmente e entre si.
Foram incluídos 82 estudos que empregaram 26 plataformas distintas de autoML, abrangendo 22 especialidades. Doenças cerebrais e pulmonares foram os campos mais estudados. O desempenho foi variável, com AUCROC entre 0,35 e 1,00, F1-score entre 0,16 e 0,99 e AUPRC entre 0,51 e 1,00. O autoML apresentou a maior AUCROC em 75,6% dos ensaios, o maior F1-score em 42,3% e a maior AUPRC em 83,3%.
Nas comparações entre plataformas, AutoPrognosis e Amazon Rekognition apresentaram o melhor desempenho com dados não estruturados e estruturados, respectivamente. A qualidade de relato foi considerada pobre, com mediana de 14 de 27 no escore DECIDE-AI, o que limita a confiança nas conclusões e aponta para a necessidade de estudos de validação mais robustos.
Os autores concluem que o desempenho do autoML é comparável a benchmarks computacionais e clínicos sob medida. O autoML pode facilitar uma transição para o desenvolvimento centrado em dados, e a integração com grandes modelos de linguagem pode permitir que a IA construa a si mesma para atender a objetivos definidos pelo usuário. Para o médico, isso sinaliza uma ferramenta em amadurecimento, cuja adoção clínica deve considerar a qualidade metodológica dos estudos disponíveis.
O que o estudo mostrou
Revisão sistemática com protocolo registrado no PROSPERO, buscando Cochrane Library, Embase, MEDLINE e Scopus até 11 de julho de 2022. Foram incluídos 82 estudos com 26 plataformas de autoML em 22 especialidades, com predomínio de doenças cerebrais e pulmonares. O desempenho variou de AUCROC 0,35 a 1,00, F1-score 0,16 a 0,99 e AUPRC 0,51 a 1,00. O autoML teve a maior AUCROC em 75,6% dos ensaios, maior F1-score em 42,3% e maior AUPRC em 83,3%. AutoPrognosis e Amazon Rekognition foram as plataformas mais fortes em dados não estruturados e estruturados, respectivamente. A qualidade de relato foi pobre, com mediana de 14 de 27 no DECIDE-AI.
Limitações
O resumo não informa o número total de pacientes ou amostras analisadas, nem detalha os tipos de desfechos clínicos avaliados. A qualidade de relato dos estudos incluídos foi pobre, com mediana de 14 de 27 no DECIDE-AI, o que limita a confiança nas estimativas de desempenho. O resumo também não descreve análise de risco de viés por estudo nem heterogeneidade entre as especialidades.
Aplicação no consultório
O médico pode considerar o autoML como alternativa viável para desenvolver modelos preditivos com desempenho comparável a modelos convencionais, especialmente em contextos de doenças cerebrais e pulmonares. Na gestão do consultório, a baixa qualidade de relato dos estudos recomenda cautela antes de incorporar ferramentas de autoML à rotina clínica, priorizando validação local e leitura crítica dos escores DECIDE-AI. A escolha da plataforma deve considerar o tipo de dado disponível, estruturado ou não estruturado.
Estudo citado
Clinical performance of automated machine learning: A systematic review. Annals of the Academy of Medicine, Singapore, 2024.
Autores: Thirunavukarasu AJ, Elangovan K, Gutierrez L, Hassan R, Li Y, Tan TF, Cheng H, Teo ZL, Lim G, Ting DSW.
DOI: 10.47102/annals-acadmedsg.2023113 · PubMed: PMID 38920245
Perguntas para aprofundar
- Quais plataformas de autoML apresentam melhor desempenho para dados estruturados e não estruturados em aplicações clínicas?
- Como a qualidade de relato dos estudos de autoML pode influenciar a confiança do médico nos resultados?
- O autoML pode substituir o desenvolvimento convencional de modelos preditivos na prática clínica?
Mais sobre LLMs e chatbots clínicos
- A inteligência artificial já tem evidências para apoiar diagnóstico, retenção e monitoramento no cuidado ao HIV?
- Como a inteligência artificial tem sido aplicada no diagnóstico, monitoramento e intervenção em saúde mental?
- Modelos de linguagem de inteligência artificial superam métodos convencionais na análise de textos médicos?
- Como a inteligência artificial pode transformar a educação, o treinamento e a pesquisa em ortopedia, e quais são suas limitações?
- Como a inteligência artificial pode ser aplicada em questionários médicos e quais os desafios para a prática clínica?
Todas as perguntas sobre LLMs e chatbots clínicos · Todos os temas · Versão em markdown