Qual é o desempenho dos grandes modelos de linguagem em exames de licença médica, segundo uma revisão sistemática e meta-análise?
Resposta curta: Uma meta-análise mostrou acurácia agrupada de 72% dos grandes modelos de linguagem em questões de exames de licença médica. O GPT-4 teve o melhor desempenho (81%), seguido por Bing (79%), Claude (74%), Gemini/Bard (70%) e GPT-3.5 (60%). Não houve diferença significativa entre idiomas. Os modelos podem apoiar a educação médica, mas não substituem métodos tradicionais.
Resposta
A revisão sistemática e meta-análise avaliou o desempenho de grandes modelos de linguagem (LLMs) em questões de exames de licença médica. Foram incluídos 36 estudos, e a acurácia agrupada foi de 72% (intervalo de confiança de 95%, 70,0% a 75,0%), com alta heterogeneidade (I2=99%, P<0,001).
Entre os modelos, o GPT-4 apresentou a maior acurácia (81%), seguido por Bing (79%), Claude (74%), Gemini/Bard (70%) e GPT-3.5 (60%), com diferença estatisticamente significativa (P=0,001). A variação entre idiomas (de 62% em polonês a 77% em alemão) não foi estatisticamente significativa (P=0,170).
Os autores concluem que os LLMs, particularmente o GPT-4, podem igualar ou superar o desempenho de estudantes de medicina em exames e podem servir como ferramentas educacionais de apoio. No entanto, devido à variabilidade e ao risco de erros, devem ser usados com cautela como complementos, e não substitutos dos métodos tradicionais de aprendizado.
Para o médico, esses achados sugerem que os LLMs podem auxiliar em atividades educacionais e de tomada de decisão clínica, mas não devem ser a única fonte de informação. A alta heterogeneidade entre os estudos indica que o desempenho pode variar conforme o contexto e a formulação das questões.
A aplicação prática envolve considerar os LLMs como ferramentas de suporte, sempre com verificação crítica das informações. O resumo não detalha características específicas dos estudos incluídos, como o nível de dificuldade das questões ou o perfil dos participantes, o que limita generalizações.
O que o estudo mostrou
Trata-se de uma revisão sistemática com meta-análise que incluiu 36 estudos, identificados a partir de 2.404 registros, que avaliaram a acurácia de LLMs em questões de exames de licença médica. A acurácia agrupada foi de 72% (IC 95%: 70,0%–75,0%), com alta heterogeneidade (I2=99%, P<0,001). O GPT-4 obteve a maior acurácia (81%), seguido por Bing (79%), Claude (74%), Gemini/Bard (70%) e GPT-3.5 (60%) (P=0,001). Não houve diferença significativa entre idiomas (P=0,170).
Limitações
O resumo não informa detalhes sobre as características dos estudos incluídos, como o nível de dificuldade das questões, o perfil dos participantes ou os critérios de avaliação. A alta heterogeneidade (I2=99%) limita a interpretação da acurácia agrupada. O resumo também não descreve as limitações metodológicas dos estudos primários nem o risco de viés.
Aplicação no consultório
Os achados sugerem que os LLMs podem ser úteis como ferramentas de apoio educacional e de tomada de decisão clínica, mas não devem substituir o julgamento médico ou os métodos tradicionais de aprendizado. No consultório, podem auxiliar na revisão de conteúdos e na formulação de hipóteses, sempre com verificação crítica. A gestão do consultório pode considerar o uso dessas ferramentas para treinamento da equipe, mas com cautela devido à variabilidade de desempenho e ao risco de erros.
Estudo citado
Performance of large language models in medical licensing examinations: a systematic review and meta-analysis. Journal of educational evaluation for health professions, 2025.
Autores: Nouri H, Mahdavi A, Abedi A, Mohammadnia A, Hamedan M, Amanzadeh M.
DOI: 10.3352/jeehp.2025.22.36 · PubMed: PMID 41248547
Perguntas para aprofundar
- Como os LLMs se comparam a estudantes de medicina em exames de licença médica?
- Quais fatores podem explicar a alta heterogeneidade entre os estudos sobre LLMs em exames médicos?
- Qual é o papel dos LLMs na educação médica continuada segundo as evidências atuais?
Mais sobre IA em diagnóstico por imagem e radiologia
- Qual é o desempenho atual dos grandes modelos de linguagem (LLMs) em radiologia dentomaxilofacial, segundo uma revisão sistemática?
- Qual o impacto do ChatGPT na assistência à saúde, no diagnóstico e no ensino médico, segundo uma revisão guarda-chuva?
- Algoritmos de deep learning são precisos para marcação cefalométrica 3D automatizada em comparação com a marcação manual?
- O aprendizado de máquina já pode ser usado para avaliar a competência do médico, e o que a evidência mostra sobre isso?
- Como ajuste fino, RAG e abordagens híbridas se comparam para adaptar modelos de linguagem à decisão clínica?
Todas as perguntas sobre IA em diagnóstico por imagem e radiologia · Todos os temas · Versão em markdown