# Modelos de linguagem de grande escala (LLMs) têm acurácia diagnóstica comparável à de profissionais clínicos?

> Uma revisão sistemática com meta-análise que incluiu 30 estudos e 19 LLMs, totalizando 4762 casos, mostrou que a acurácia do diagnóstico primário variou de 25% a 97,8% e a de triagem de 66,5% a 98%. Apesar do potencial, a acurácia ainda é inferior à dos profissionais clínicos, e a maioria dos estudos apresentou alto risco de viés.

Estudo citado: Shan G, Chen X, Wang C, Liu L, Gu Y, Jiang H et al.. Comparing Diagnostic Accuracy of Clinical Professionals and Large Language Models: Systematic Review and Meta-Analysis. JMIR medical informatics. 2025. DOI: https://doi.org/10.2196/64963. PubMed: https://pubmed.ncbi.nlm.nih.gov/40279517/

## Resposta

A revisão sistemática com meta-análise comparou a acurácia diagnóstica de modelos de linguagem de grande escala (LLMs) com a de profissionais clínicos. Foram incluídos 30 estudos, envolvendo 19 LLMs e um total de 4762 casos. A qualidade metodológica foi avaliada pela ferramenta PROBAST, que indicou alto risco de viés na maioria dos estudos, principalmente devido ao diagnóstico de casos conhecidos.

Os resultados mostraram que, para o melhor modelo, a acurácia do diagnóstico primário variou de 25% a 97,8%, enquanto a acurácia de triagem ficou entre 66,5% e 98%. Esses achados sugerem que os LLMs podem ter desempenho variável e, embora promissores, ainda não alcançam a acurácia dos profissionais clínicos.

Os autores concluem que os LLMs demonstraram considerável capacidade diagnóstica e potencial para aplicação em diversos casos clínicos. No entanto, a acurácia ainda é inferior à dos profissionais de saúde. Uso cauteloso é recomendado, e os LLMs podem se tornar assistentes inteligentes na área da saúde, desde que empregados com supervisão.

A revisão não fornece detalhes sobre a amostra de profissionais comparados, nem sobre características específicas dos modelos. O resumo também não informa as limitações individuais dos estudos incluídos, mas o alto risco de viés apontado pela PROBAST sugere que os resultados devem ser interpretados com cautela.

Para o médico brasileiro, os achados indicam que os LLMs podem auxiliar em tarefas como triagem e sugestão diagnóstica, mas não substituem a avaliação clínica. A aplicação na prática deve considerar a variabilidade de desempenho e a necessidade de validação local.

## O que o estudo mostrou

Revisão sistemática com meta-análise que incluiu 30 estudos, 19 LLMs e 4762 casos. A qualidade foi avaliada pelo PROBAST, com alto risco de viés na maioria dos estudos, principalmente por diagnóstico de casos conhecidos. Para o melhor modelo, a acurácia do diagnóstico primário variou de 25% a 97,8% e a acurácia de triagem, de 66,5% a 98%. Os LLMs mostraram potencial, mas acurácia inferior à dos profissionais clínicos.

## Limitações

O resumo não informa as limitações específicas dos estudos incluídos, mas a avaliação pelo PROBAST indicou alto risco de viés na maioria deles, sobretudo devido ao diagnóstico de casos conhecidos. Isso pode superestimar o desempenho dos modelos. Além disso, o resumo não detalha a comparabilidade com profissionais clínicos nem a heterogeneidade entre os modelos avaliados.

## Aplicação no consultório

Os LLMs podem ser úteis como ferramentas de apoio à decisão clínica, especialmente em triagem e sugestão diagnóstica, mas não devem substituir o julgamento médico. No consultório, é importante usar esses recursos com cautela, reconhecendo suas limitações e a variabilidade de desempenho. A gestão pode considerar a implementação de LLMs como auxiliares, mas com supervisão e validação local, além de treinamento da equipe para interpretar corretamente as sugestões.

## Perguntas para aprofundar

- Qual é o risco de viés nos estudos que avaliam LLMs para diagnóstico?
- Como a acurácia dos LLMs varia entre diferentes especialidades médicas?
- Quais são as implicações éticas do uso de LLMs na prática clínica?

Tema: LLMs e chatbots clínicos. Página: https://alphadoctor.com.br/ciencia/ia-llm-chatbots/modelos-de-linguagem-de-grande-escala-llms-tem-acuracia-diagnostica-comparavel/

Conteúdo educacional para profissionais de saúde, baseado no resumo do artigo citado. Não substitui a leitura do estudo original nem avaliação clínica.