Qual é o desempenho atual dos grandes modelos de linguagem (LLMs) em radiologia dentomaxilofacial, segundo uma revisão sistemática?
Resposta curta: A revisão sistemática incluiu 19 estudos e mostrou desempenho variável dos LLMs em radiologia dentomaxilofacial: acurácia diagnóstica entre 37% e 92,5%, acertos em exames de qualificação entre 33,3% e 86,1% e geração de laudos com acurácia de 70,4% a 81,3%. Precisão, completude e consistência ainda são variáveis, exigindo validação e padronização adicionais.
Resposta
A revisão sistemática teve como objetivo avaliar o desempenho atual dos grandes modelos de linguagem (LLMs) em radiologia dentomaxilofacial (DMFR). Foram incluídos 19 estudos que desenvolveram, ajustaram ou avaliaram LLMs para tarefas relacionadas à DMFR. As tarefas investigadas incluíram produção e resposta a exames de qualificação e questões educacionais, diagnóstico e recomendações de tratamento, e geração de laudos radiológicos e comunicação com pacientes.
Os resultados mostraram que os LLMs apresentaram desempenho variado no diagnóstico de condições dentárias, com acurácia entre 37% e 92,5%. As avaliações de especialistas para diagnóstico diferencial e planejamento de tratamento variaram de 3,6 a 4,7 em uma escala de 5 pontos. Em exames de qualificação e questões no estilo de provas de especialidade, as taxas de acerto ficaram entre 33,3% e 86,1%. A geração automatizada de laudos radiológicos mostrou desempenho moderado, com acurácia entre 70,4% e 81,3%.
Os autores concluem que os LLMs demonstram potencial promissor em DMFR, particularmente para tarefas diagnósticas, educacionais e de geração de laudos. No entanto, a acurácia, completude e consistência atuais permanecem variáveis. Desenvolvimento, validação e padronização adicionais são necessários antes que os LLMs possam ser integrados de forma confiável como ferramentas de apoio em fluxos de trabalho clínicos e ambientes educacionais.
A avaliação do risco de viés foi realizada com critérios adaptados da diretriz TRIPOD-LLM, focando na clareza da origem dos dados, robustez dos métodos de avaliação de desempenho e validade dos padrões de referência. O resumo não informa os detalhes dessa avaliação nem as limitações específicas dos estudos incluídos.
Para o médico brasileiro, os achados indicam que os LLMs ainda não podem ser considerados ferramentas confiáveis para uso clínico rotineiro em radiologia dentomaxilofacial, dado o desempenho inconsistente. A aplicação clínica deve aguardar validação e padronização adicionais.
O que o estudo mostrou
Revisão sistemática que incluiu 19 estudos que desenvolveram, ajustaram ou avaliaram LLMs para tarefas de radiologia dentomaxilofacial. As tarefas incluíram exames de qualificação e questões educacionais (n = 8), diagnóstico e recomendações de tratamento (n = 7) e geração de laudos e comunicação com pacientes (n = 4). A acurácia diagnóstica variou de 37% a 92,5%; as avaliações de especialistas para diagnóstico diferencial e planejamento de tratamento ficaram entre 3,6 e 4,7 em escala de 5 pontos; as taxas de acerto em exames de qualificação variaram de 33,3% a 86,1%; e a geração automatizada de laudos teve acurácia de 70,4% a 81,3%.
Limitações
O resumo não informa as limitações específicas dos estudos incluídos, nem os detalhes da avaliação de risco de viés. A variabilidade dos resultados e a falta de padronização nos métodos de avaliação limitam a comparação entre estudos. O resumo também não fornece informações sobre a qualidade metodológica geral ou o tamanho das amostras.
Aplicação no consultório
Os achados sugerem que os LLMs ainda não estão prontos para uso clínico rotineiro em radiologia dentomaxilofacial devido à acurácia variável. O médico deve ter cautela ao considerar essas ferramentas para apoio diagnóstico ou educacional. Investimentos em validação e padronização são necessários antes da incorporação na prática. No consultório, a adoção de LLMs deve ser vista como experimental e não como substituta do julgamento clínico.
Estudo citado
The performance of large language models in dentomaxillofacial radiology: a systematic review. Dento maxillo facial radiology, 2025.
Autores: Liu Z, Nalley A, Hao J, Ai QYH, Yeung AWK, Tanaka R, Hung KF.
DOI: 10.1093/dmfr/twaf060 · PubMed: PMID 40796316
Perguntas para aprofundar
- Qual é a acurácia dos LLMs na geração de laudos radiológicos em radiologia dentomaxilofacial?
- Como os LLMs se comparam a especialistas em diagnóstico e planejamento de tratamento em radiologia dentomaxilofacial?
- Quais são as principais limitações metodológicas dos estudos sobre LLMs em radiologia dentomaxilofacial?
Mais sobre IA em diagnóstico por imagem e radiologia
- Qual é o desempenho das plataformas de inteligência artificial na detecção de cárie dentária em imagens clínicas e radiografias?
- Modelos de deep learning são eficazes para identificar e numerar dentes em radiografias odontológicas?
- Modelos de inteligência artificial têm bom desempenho diagnóstico na detecção de fraturas faciais em tomografia e radiografias?
- A inteligência artificial é tão eficaz quanto médicos para detectar displasia do desenvolvimento do quadril em exames de imagem?
- A inteligência artificial pode aprimorar o diagnóstico por imagem da síndrome do túnel do carpo?
Todas as perguntas sobre IA em diagnóstico por imagem e radiologia · Todos os temas · Versão em markdown