# Modelos de linguagem de grande porte (LLMs) são confiáveis para responder a exames de licenciamento odontológico?

> Uma revisão sistemática com meta-análise mostrou que o GPT-4 obteve acurácia integrada de 72%, superando GPT-3.5 (54%) e Bard (56%), mas ainda abaixo do limiar para aplicação clínica. Os LLMs não são adequados para educação odontológica e diagnóstico no momento.

Estudo citado: Liu M, Okuhara T, Huang W, Ogihara A, Nagao HS, Okada H et al.. Large Language Models in Dental Licensing Examinations: Systematic Review and Meta-Analysis. International dental journal. 2025. DOI: https://doi.org/10.1016/j.identj.2024.10.014. PubMed: https://pubmed.ncbi.nlm.nih.gov/39532572/

## Resposta

A revisão sistemática com meta-análise avaliou o desempenho de modelos de linguagem de grande porte (LLMs) em exames de licenciamento odontológico de oito países. Foram incluídos onze estudos publicados entre 2022 e 2024, e a qualidade metodológica foi avaliada pela ferramenta Quality Assessment of Diagnostic Accuracy Studies-2 (QUADAS-2).

Os resultados mostraram que o GPT-4 alcançou acurácia integrada de 72%, enquanto o GPT-3.5 e o Bard obtiveram 54% e 56%, respectivamente. O GPT-4 superou os demais e passou em mais da metade dos exames avaliados. Análises de subgrupo e meta-regressão indicaram que o GPT-3.5 teve desempenho significativamente melhor em países de língua inglesa, mas o GPT-4 manteve consistência entre diferentes regiões.

Apesar do potencial, os autores concluem que a acurácia dos LLMs ainda está abaixo do limiar necessário para aplicação clínica. A escassez de dados de treinamento específicos em odontologia e a dependência de diagnósticos por imagem são desafios apontados. Além disso, os modelos forneceram explicações mais detalhadas para respostas incorretas do que para corretas, o que pode comprometer seu uso educacional.

Diante disso, os LLMs não são considerados adequados para uso em educação odontológica e diagnóstico clínico no momento. A revisão destaca a necessidade de mais pesquisas e desenvolvimento de modelos especializados para a área odontológica.

## O que o estudo mostrou

Revisão sistemática com meta-análise que avaliou LLMs em exames de licenciamento odontológico de oito países. GPT-4 obteve acurácia integrada de 72%, GPT-3.5 de 54% e Bard de 56%. GPT-4 superou os outros modelos e passou em mais da metade dos exames. GPT-3.5 foi significativamente melhor em países de língua inglesa, enquanto GPT-4 manteve desempenho consistente entre regiões.

## Limitações

O resumo não informa detalhes sobre a amostra de exames, o número total de questões avaliadas, nem as limitações específicas dos estudos incluídos. A heterogeneidade entre os estudos e a qualidade metodológica avaliada pelo QUADAS-2 não são descritas em detalhe. Além disso, a meta-análise pode ter sido limitada pela variabilidade nos critérios de avaliação e pelos diferentes modelos de LLMs testados.

## Aplicação no consultório

Os achados indicam que os LLMs atuais não são confiáveis para suporte à decisão clínica ou educação continuada em odontologia. O dentista deve evitar basear diagnósticos ou condutas em respostas de chatbots, pois a acurácia é insuficiente e as explicações para erros podem ser enganosas. Para a gestão do consultório, isso significa não investir em ferramentas de IA generativa como fonte primária de informação clínica, mas sim acompanhar o desenvolvimento de modelos especializados e validados.

## Perguntas para aprofundar

- Qual o desempenho do GPT-4 em exames de licenciamento odontológico em comparação com o GPT-3.5?
- Por que os LLMs apresentam acurácia inferior em odontologia quando comparados à medicina?
- Quais são as limitações atuais dos LLMs para uso em educação odontológica?

Tema: LLMs e chatbots clínicos. Página: https://alphadoctor.com.br/ciencia/ia-llm-chatbots/modelos-de-linguagem-de-grande-porte-llms-sao-confiaveis-para-responder-a/

Conteúdo educacional para profissionais de saúde, baseado no resumo do artigo citado. Não substitui a leitura do estudo original nem avaliação clínica.