# O que a revisão sistemática assistida por LLM revela sobre a qualidade e os resultados dos estudos de LLMs em medicina clínica?

> A revisão identificou 4.609 estudos, mas apenas 1.048 usaram dados reais de pacientes e somente 19 eram ensaios randomizados prospectivos. A maioria abordou cenários simulados ou tarefas de exame. Em comparações diretas, LLMs superaram humanos em 33% dos casos, com dependência do realismo da tarefa. Evidência rigorosa centrada no paciente ainda é escassa.

Estudo citado: Chen SF, Alyakin A, Seas A, Yang E, Choi JJ, Lee JV et al.. LLM-assisted systematic review of large language models in clinical medicine. Nature medicine. 2026. DOI: https://doi.org/10.1038/s41591-026-04229-5. PubMed: https://pubmed.ncbi.nlm.nih.gov/41776077/

## Resposta

A revisão sistemática assistida por LLM analisou a literatura sobre modelos de linguagem de grande porte (LLMs) em medicina clínica, identificando 4.609 estudos revisados por pares entre janeiro de 2022 e setembro de 2025. Esse volume corresponde a aproximadamente 3.2 artigos por dia, evidenciando o rápido crescimento das publicações na área.

Apesar do grande número de estudos, apenas 1.048 utilizaram dados reais de pacientes, e destes, somente 19 eram ensaios randomizados prospectivos. A maioria dos trabalhos avaliou cenários simulados (n = 1.857) ou tarefas no estilo de exames (n = 1.704), o que limita a aplicabilidade dos achados à prática clínica real.

Em relação aos modelos avaliados, ChatGPT e modelos relacionados da OpenAI representaram 65.7% dos modelos testados, enquanto Gemini/Bard ficou em segundo lugar, com 13.1%. As tarefas mais comuns envolveram comunicação e educação voltadas ao paciente (17%), seguidas por recuperação de conhecimento e simulação de educação e avaliação.

Nas 1.046 comparações diretas entre LLMs e humanos, os LLMs superaram os humanos em 33% dos casos, com forte dependência do realismo da tarefa e do nível de treinamento. Além disso, pelo menos 25% dos estudos tiveram tamanho amostral inferior a 30, o que pode comprometer a robustez dos resultados.

Os autores concluem que, apesar do crescimento dos LLMs na medicina, evidências rigorosas e centradas no paciente ainda são escassas, ressaltando a necessidade de ensaios prospectivos maiores antes da adoção clínica generalizada.

## O que o estudo mostrou

Trata-se de uma revisão sistemática assistida por LLM que identificou 4.609 estudos revisados por pares em medicina clínica entre janeiro de 2022 e setembro de 2025. Desses, 1.048 usaram dados reais de pacientes, mas apenas 19 eram ensaios randomizados prospectivos. A maioria abordou cenários simulados (n = 1.857) ou tarefas de exame (n = 1.704). ChatGPT e modelos OpenAI constituíram 65.7% dos modelos avaliados, com Gemini/Bard em segundo (13.1%). Em 1.046 comparações diretas, LLMs superaram humanos em 33% dos casos, com dependência do realismo da tarefa e do nível de treinamento. Pelo menos 25% dos estudos tinham amostra menor que 30.

## Limitações

O resumo não informa detalhes sobre a metodologia da revisão assistida por LLM, como critérios de inclusão, fontes de busca ou avaliação de risco de viés. Também não são descritas limitações dos estudos primários. A dependência de tarefas simuladas e de exame na maioria dos trabalhos limita a generalização para a prática clínica. O resumo não fornece informações sobre a qualidade dos ensaios randomizados identificados.

## Aplicação no consultório

Os achados indicam que a evidência sobre LLMs em medicina ainda é predominantemente baseada em simulações e tarefas de exame, com poucos estudos usando dados reais de pacientes e ensaios randomizados. Para o médico no consultório, isso significa que a incorporação dessas ferramentas na prática clínica deve ser cautelosa, aguardando evidências mais robustas. Gestores de consultório podem considerar que a maioria dos modelos avaliados é da OpenAI, mas a superioridade sobre humanos é dependente do contexto. Investimentos em treinamento e avaliação crítica da literatura são recomendados antes de adotar LLMs para comunicação com pacientes ou apoio à decisão.

## Perguntas para aprofundar

- Quais são as limitações dos estudos que avaliam LLMs em medicina clínica?
- Como os LLMs se comparam aos humanos em tarefas clínicas reais?
- Quais modelos de linguagem são mais avaliados em pesquisas clínicas?

Tema: LLMs e chatbots clínicos. Página: https://alphadoctor.com.br/ciencia/ia-llm-chatbots/o-que-a-revisao-sistematica-assistida-por-llm-revela-sobre-a-qualidade-e-os/

Conteúdo educacional para profissionais de saúde, baseado no resumo do artigo citado. Não substitui a leitura do estudo original nem avaliação clínica.