Modelos de linguagem de grande porte (LLMs) são acurados para apoio à decisão clínica em otorrinolaringologia?
Resposta curta: Uma revisão sistemática mostrou que LLMs apresentam acurácia diagnóstica moderada (45,7–80,2%) em otorrinolaringologia, com melhor desempenho para diagnósticos do que para recomendar exames adicionais (10–29%) e tratamentos (16,7–60%). Claude frequentemente superou o ChatGPT. Há grande heterogeneidade metodológica, indicando necessidade de padronização.
Resposta
A revisão sistemática avaliou a acurácia de LLMs como apoio à decisão clínica em otorrinolaringologia e cirurgia de cabeça e pescoço. Foram incluídos 17 estudos, totalizando 734 pacientes, com predomínio do ChatGPT-4 (14/17), seguido por Claude-3/3.5 (2/17) e Gemini (2/17).
A acurácia diagnóstica primária variou de 45,7% a 80,2% entre os diferentes modelos. O Claude frequentemente apresentou desempenho superior ao ChatGPT. No entanto, a acurácia para recomendar exames adicionais apropriados foi baixa (10–29%), e para tratamentos variou de 16,7% a 60%, com grande variabilidade entre subespecialidades.
A recomendação de tratamento foi mais acurada em oncologia de cabeça e pescoço (55–60%) e menos acurada em rinologia (16,7%). Os autores destacam heterogeneidade substancial entre os estudos quanto aos critérios de inclusão, às informações fornecidas aos modelos e aos métodos de avaliação da acurácia.
A conclusão é que os LLMs demonstram acurácia diagnóstica moderada e promissora, mas com desempenho inferior na sugestão de exames e tratamentos. Achados emergentes sugerem que o Claude pode superar o ChatGPT. Os revisores enfatizam a necessidade de padronização metodológica para pesquisas futuras.
Para o médico, os resultados indicam que os LLMs podem auxiliar no raciocínio diagnóstico, mas não devem ser usados isoladamente para decisões terapêuticas ou solicitação de exames. A incorporação na prática clínica requer cautela e validação local.
O que o estudo mostrou
Revisão sistemática com 17 estudos (734 pacientes) avaliando LLMs em otorrinolaringologia. ChatGPT-4 foi o mais testado (14/17), seguido por Claude-3/3.5 (2/17) e Gemini (2/17). A acurácia diagnóstica variou de 45,7% a 80,2%. A acurácia para recomendar exames adicionais foi de 10–29% e para tratamentos, 16,7–60%, com melhor desempenho em oncologia de cabeça e pescoço (55–60%) e pior em rinologia (16,7%). Claude frequentemente superou o ChatGPT. Houve heterogeneidade substancial entre os estudos.
Limitações
O resumo não informa detalhes sobre o desenho dos estudos incluídos, nem sobre vieses de seleção ou de aferição. A heterogeneidade metodológica substancial limita comparações diretas entre modelos e subespecialidades. O resumo também não informa a qualidade metodológica dos estudos primários, avaliada pelo MINORS, nem o risco de viés geral. Estudos futuros precisam de padronização.
Aplicação no consultório
Os achados sugerem que LLMs podem ser úteis como ferramenta auxiliar no raciocínio diagnóstico em otorrinolaringologia, mas não substituem o julgamento clínico. Para a gestão do consultório, é prudente não basear decisões de solicitação de exames ou prescrição de tratamentos exclusivamente nessas ferramentas. A adoção requer treinamento da equipe, definição de fluxos de verificação e monitoramento de erros. A variabilidade entre subespecialidades indica que a utilidade pode ser maior em oncologia de cabeça e pescoço e menor em rinologia.
Estudo citado
Clinical decision support using large language models in otolaryngology: a systematic review. European archives of oto-rhino-laryngology : official journal of the European Federation of Oto-Rhino-Laryngological Societies (EUFOS) : affiliated with the German Society for Oto-Rhino-Laryngology - Head and Neck Surgery, 2025.
Autores: Filali Ansary R, Lechien JR.
DOI: 10.1007/s00405-025-09504-8 · PubMed: PMID 40481345
Perguntas para aprofundar
- Qual a acurácia do ChatGPT-4 versus Claude em diagnósticos otorrinolaringológicos?
- Como os LLMs se comportam na recomendação de exames complementares em otorrinolaringologia?
- Quais são as limitações metodológicas dos estudos sobre LLMs em otorrinolaringologia?
Mais sobre LLMs e chatbots clínicos
- O que a revisão sistemática assistida por LLM revela sobre a qualidade e os resultados dos estudos de LLMs em medicina clínica?
- O que os grandes modelos de linguagem podem oferecer à enfermagem clínica e quais desafios práticos eles impõem?
- Como os modelos de linguagem de grande escala (LLMs) estão sendo avaliados em medicina clínica e quais são as principais limitações dessas avaliações?
- Qual é a acurácia dos grandes modelos de linguagem (LLMs) como chatbots médicos em gastroenterologia e hepatologia, e quais os riscos para a segurança do paciente?
- Como os modelos de linguagem de grande escala (LLMs) estão sendo aplicados na educação médica e quais são suas implicações?
Todas as perguntas sobre LLMs e chatbots clínicos · Todos os temas · Versão em markdown