LLMs e chatbots clínicos

O que a revisão sistemática assistida por LLM revela sobre a qualidade e os resultados dos estudos de LLMs em medicina clínica?

Resposta

A revisão sistemática assistida por LLM analisou a literatura sobre modelos de linguagem de grande porte (LLMs) em medicina clínica, identificando 4.609 estudos revisados por pares entre janeiro de 2022 e setembro de 2025. Esse volume corresponde a aproximadamente 3.2 artigos por dia, evidenciando o rápido crescimento das publicações na área.

Apesar do grande número de estudos, apenas 1.048 utilizaram dados reais de pacientes, e destes, somente 19 eram ensaios randomizados prospectivos. A maioria dos trabalhos avaliou cenários simulados (n = 1.857) ou tarefas no estilo de exames (n = 1.704), o que limita a aplicabilidade dos achados à prática clínica real.

Em relação aos modelos avaliados, ChatGPT e modelos relacionados da OpenAI representaram 65.7% dos modelos testados, enquanto Gemini/Bard ficou em segundo lugar, com 13.1%. As tarefas mais comuns envolveram comunicação e educação voltadas ao paciente (17%), seguidas por recuperação de conhecimento e simulação de educação e avaliação.

Nas 1.046 comparações diretas entre LLMs e humanos, os LLMs superaram os humanos em 33% dos casos, com forte dependência do realismo da tarefa e do nível de treinamento. Além disso, pelo menos 25% dos estudos tiveram tamanho amostral inferior a 30, o que pode comprometer a robustez dos resultados.

Os autores concluem que, apesar do crescimento dos LLMs na medicina, evidências rigorosas e centradas no paciente ainda são escassas, ressaltando a necessidade de ensaios prospectivos maiores antes da adoção clínica generalizada.

O que o estudo mostrou

Trata-se de uma revisão sistemática assistida por LLM que identificou 4.609 estudos revisados por pares em medicina clínica entre janeiro de 2022 e setembro de 2025. Desses, 1.048 usaram dados reais de pacientes, mas apenas 19 eram ensaios randomizados prospectivos. A maioria abordou cenários simulados (n = 1.857) ou tarefas de exame (n = 1.704). ChatGPT e modelos OpenAI constituíram 65.7% dos modelos avaliados, com Gemini/Bard em segundo (13.1%). Em 1.046 comparações diretas, LLMs superaram humanos em 33% dos casos, com dependência do realismo da tarefa e do nível de treinamento. Pelo menos 25% dos estudos tinham amostra menor que 30.

Limitações

O resumo não informa detalhes sobre a metodologia da revisão assistida por LLM, como critérios de inclusão, fontes de busca ou avaliação de risco de viés. Também não são descritas limitações dos estudos primários. A dependência de tarefas simuladas e de exame na maioria dos trabalhos limita a generalização para a prática clínica. O resumo não fornece informações sobre a qualidade dos ensaios randomizados identificados.

Aplicação no consultório

Os achados indicam que a evidência sobre LLMs em medicina ainda é predominantemente baseada em simulações e tarefas de exame, com poucos estudos usando dados reais de pacientes e ensaios randomizados. Para o médico no consultório, isso significa que a incorporação dessas ferramentas na prática clínica deve ser cautelosa, aguardando evidências mais robustas. Gestores de consultório podem considerar que a maioria dos modelos avaliados é da OpenAI, mas a superioridade sobre humanos é dependente do contexto. Investimentos em treinamento e avaliação crítica da literatura são recomendados antes de adotar LLMs para comunicação com pacientes ou apoio à decisão.

Estudo citado

LLM-assisted systematic review of large language models in clinical medicine. Nature medicine, 2026.
Autores: Chen SF, Alyakin A, Seas A, Yang E, Choi JJ, Lee JV, Chen AL, Warman PI, Bitolas RT, Steele RJ, Alber DA, Oermann EK.
DOI: 10.1038/s41591-026-04229-5 · PubMed: PMID 41776077

Perguntas para aprofundar

• Quais são as limitações dos estudos que avaliam LLMs em medicina clínica?
• Como os LLMs se comparam aos humanos em tarefas clínicas reais?
• Quais modelos de linguagem são mais avaliados em pesquisas clínicas?

Mais sobre LLMs e chatbots clínicos

• Como os modelos de linguagem de grande escala (LLMs) estão sendo avaliados em medicina clínica e quais são as principais limitações dessas avaliações?
• Quais estratégias baseadas em evidências reduzem alucinações em modelos de linguagem na saúde?
• Modelos de linguagem de grande porte (LLMs) são acurados para apoio à decisão clínica em otorrinolaringologia?
• Modelos de linguagem de grande escala (LLMs) têm acurácia diagnóstica comparável à de profissionais clínicos?
• Modelos de linguagem de grande escala podem apoiar o diagnóstico, o tratamento e a educação de pacientes com doença de Alzheimer e comprometimento cognitivo leve?

Todas as perguntas sobre LLMs e chatbots clínicos · Todos os temas · Versão em markdown