Modelos de linguagem de grande escala (LLMs) têm acurácia diagnóstica comparável à de profissionais clínicos?
Resposta curta: Uma revisão sistemática com meta-análise que incluiu 30 estudos e 19 LLMs, totalizando 4762 casos, mostrou que a acurácia do diagnóstico primário variou de 25% a 97,8% e a de triagem de 66,5% a 98%. Apesar do potencial, a acurácia ainda é inferior à dos profissionais clínicos, e a maioria dos estudos apresentou alto risco de viés.
Resposta
A revisão sistemática com meta-análise comparou a acurácia diagnóstica de modelos de linguagem de grande escala (LLMs) com a de profissionais clínicos. Foram incluídos 30 estudos, envolvendo 19 LLMs e um total de 4762 casos. A qualidade metodológica foi avaliada pela ferramenta PROBAST, que indicou alto risco de viés na maioria dos estudos, principalmente devido ao diagnóstico de casos conhecidos.
Os resultados mostraram que, para o melhor modelo, a acurácia do diagnóstico primário variou de 25% a 97,8%, enquanto a acurácia de triagem ficou entre 66,5% e 98%. Esses achados sugerem que os LLMs podem ter desempenho variável e, embora promissores, ainda não alcançam a acurácia dos profissionais clínicos.
Os autores concluem que os LLMs demonstraram considerável capacidade diagnóstica e potencial para aplicação em diversos casos clínicos. No entanto, a acurácia ainda é inferior à dos profissionais de saúde. Uso cauteloso é recomendado, e os LLMs podem se tornar assistentes inteligentes na área da saúde, desde que empregados com supervisão.
A revisão não fornece detalhes sobre a amostra de profissionais comparados, nem sobre características específicas dos modelos. O resumo também não informa as limitações individuais dos estudos incluídos, mas o alto risco de viés apontado pela PROBAST sugere que os resultados devem ser interpretados com cautela.
Para o médico brasileiro, os achados indicam que os LLMs podem auxiliar em tarefas como triagem e sugestão diagnóstica, mas não substituem a avaliação clínica. A aplicação na prática deve considerar a variabilidade de desempenho e a necessidade de validação local.
O que o estudo mostrou
Revisão sistemática com meta-análise que incluiu 30 estudos, 19 LLMs e 4762 casos. A qualidade foi avaliada pelo PROBAST, com alto risco de viés na maioria dos estudos, principalmente por diagnóstico de casos conhecidos. Para o melhor modelo, a acurácia do diagnóstico primário variou de 25% a 97,8% e a acurácia de triagem, de 66,5% a 98%. Os LLMs mostraram potencial, mas acurácia inferior à dos profissionais clínicos.
Limitações
O resumo não informa as limitações específicas dos estudos incluídos, mas a avaliação pelo PROBAST indicou alto risco de viés na maioria deles, sobretudo devido ao diagnóstico de casos conhecidos. Isso pode superestimar o desempenho dos modelos. Além disso, o resumo não detalha a comparabilidade com profissionais clínicos nem a heterogeneidade entre os modelos avaliados.
Aplicação no consultório
Os LLMs podem ser úteis como ferramentas de apoio à decisão clínica, especialmente em triagem e sugestão diagnóstica, mas não devem substituir o julgamento médico. No consultório, é importante usar esses recursos com cautela, reconhecendo suas limitações e a variabilidade de desempenho. A gestão pode considerar a implementação de LLMs como auxiliares, mas com supervisão e validação local, além de treinamento da equipe para interpretar corretamente as sugestões.
Estudo citado
Comparing Diagnostic Accuracy of Clinical Professionals and Large Language Models: Systematic Review and Meta-Analysis. JMIR medical informatics, 2025.
Autores: Shan G, Chen X, Wang C, Liu L, Gu Y, Jiang H, Shi T.
DOI: 10.2196/64963 · PubMed: PMID 40279517
Perguntas para aprofundar
- Qual é o risco de viés nos estudos que avaliam LLMs para diagnóstico?
- Como a acurácia dos LLMs varia entre diferentes especialidades médicas?
- Quais são as implicações éticas do uso de LLMs na prática clínica?
Mais sobre LLMs e chatbots clínicos
- Como os modelos de linguagem de grande escala (LLMs) estão sendo avaliados em medicina clínica e quais são as principais limitações dessas avaliações?
- Agentes relacionais baseados em inteligência artificial reduzem a solidão em diferentes faixas etárias?
- Quais estratégias baseadas em evidências reduzem alucinações em modelos de linguagem na saúde?
- Modelos de linguagem de inteligência artificial superam métodos convencionais na análise de textos médicos?
- O que a revisão sistemática assistida por LLM revela sobre a qualidade e os resultados dos estudos de LLMs em medicina clínica?
Todas as perguntas sobre LLMs e chatbots clínicos · Todos os temas · Versão em markdown