# Qual é o desempenho dos grandes modelos de linguagem em exames de licença médica, segundo uma revisão sistemática e meta-análise?

> Uma meta-análise mostrou acurácia agrupada de 72% dos grandes modelos de linguagem em questões de exames de licença médica. O GPT-4 teve o melhor desempenho (81%), seguido por Bing (79%), Claude (74%), Gemini/Bard (70%) e GPT-3.5 (60%). Não houve diferença significativa entre idiomas. Os modelos podem apoiar a educação médica, mas não substituem métodos tradicionais.

Estudo citado: Nouri H, Mahdavi A, Abedi A, Mohammadnia A, Hamedan M, Amanzadeh M. Performance of large language models in medical licensing examinations: a systematic review and meta-analysis. Journal of educational evaluation for health professions. 2025. DOI: https://doi.org/10.3352/jeehp.2025.22.36. PubMed: https://pubmed.ncbi.nlm.nih.gov/41248547/

## Resposta

A revisão sistemática e meta-análise avaliou o desempenho de grandes modelos de linguagem (LLMs) em questões de exames de licença médica. Foram incluídos 36 estudos, e a acurácia agrupada foi de 72% (intervalo de confiança de 95%, 70,0% a 75,0%), com alta heterogeneidade (I2=99%, P<0,001).

Entre os modelos, o GPT-4 apresentou a maior acurácia (81%), seguido por Bing (79%), Claude (74%), Gemini/Bard (70%) e GPT-3.5 (60%), com diferença estatisticamente significativa (P=0,001). A variação entre idiomas (de 62% em polonês a 77% em alemão) não foi estatisticamente significativa (P=0,170).

Os autores concluem que os LLMs, particularmente o GPT-4, podem igualar ou superar o desempenho de estudantes de medicina em exames e podem servir como ferramentas educacionais de apoio. No entanto, devido à variabilidade e ao risco de erros, devem ser usados com cautela como complementos, e não substitutos dos métodos tradicionais de aprendizado.

Para o médico, esses achados sugerem que os LLMs podem auxiliar em atividades educacionais e de tomada de decisão clínica, mas não devem ser a única fonte de informação. A alta heterogeneidade entre os estudos indica que o desempenho pode variar conforme o contexto e a formulação das questões.

A aplicação prática envolve considerar os LLMs como ferramentas de suporte, sempre com verificação crítica das informações. O resumo não detalha características específicas dos estudos incluídos, como o nível de dificuldade das questões ou o perfil dos participantes, o que limita generalizações.

## O que o estudo mostrou

Trata-se de uma revisão sistemática com meta-análise que incluiu 36 estudos, identificados a partir de 2.404 registros, que avaliaram a acurácia de LLMs em questões de exames de licença médica. A acurácia agrupada foi de 72% (IC 95%: 70,0%–75,0%), com alta heterogeneidade (I2=99%, P<0,001). O GPT-4 obteve a maior acurácia (81%), seguido por Bing (79%), Claude (74%), Gemini/Bard (70%) e GPT-3.5 (60%) (P=0,001). Não houve diferença significativa entre idiomas (P=0,170).

## Limitações

O resumo não informa detalhes sobre as características dos estudos incluídos, como o nível de dificuldade das questões, o perfil dos participantes ou os critérios de avaliação. A alta heterogeneidade (I2=99%) limita a interpretação da acurácia agrupada. O resumo também não descreve as limitações metodológicas dos estudos primários nem o risco de viés.

## Aplicação no consultório

Os achados sugerem que os LLMs podem ser úteis como ferramentas de apoio educacional e de tomada de decisão clínica, mas não devem substituir o julgamento médico ou os métodos tradicionais de aprendizado. No consultório, podem auxiliar na revisão de conteúdos e na formulação de hipóteses, sempre com verificação crítica. A gestão do consultório pode considerar o uso dessas ferramentas para treinamento da equipe, mas com cautela devido à variabilidade de desempenho e ao risco de erros.

## Perguntas para aprofundar

- Como os LLMs se comparam a estudantes de medicina em exames de licença médica?
- Quais fatores podem explicar a alta heterogeneidade entre os estudos sobre LLMs em exames médicos?
- Qual é o papel dos LLMs na educação médica continuada segundo as evidências atuais?

Tema: IA em diagnóstico por imagem e radiologia. Página: https://alphadoctor.com.br/ciencia/ia-radiologia/qual-e-o-desempenho-dos-grandes-modelos-de-linguagem-em-exames-de-licenca/

Conteúdo educacional para profissionais de saúde, baseado no resumo do artigo citado. Não substitui a leitura do estudo original nem avaliação clínica.