# Qual é a acurácia dos grandes modelos de linguagem em responder questões de oftalmologia no formato de prova de título?

> Uma meta-análise mostrou acurácia global de 0,65 (IC 95%: 0,61-0,69) para LLMs em questões de oftalmologia. ChatGPT-4 teve o melhor desempenho (0,74) e ChatGPT-3.5 o pior (0,52). O desempenho variou conforme o tópico, sendo melhor em patologia (0,78) e pior em fundamentos e princípios de oftalmologia (0,52).

Estudo citado: Wu JH, Nishida T, Liu TYA. Accuracy of large language models in answering ophthalmology board-style questions: A meta-analysis. Asia-Pacific journal of ophthalmology (Philadelphia, Pa.). 2024. DOI: https://doi.org/10.1016/j.apjo.2024.100106. PubMed: https://pubmed.ncbi.nlm.nih.gov/39374807/

## Resposta

A meta-análise reuniu 14 estudos que avaliaram a acurácia de grandes modelos de linguagem (LLMs) em questões de oftalmologia no formato de prova de título. A acurácia global agrupada foi de 0,65 (IC 95%: 0,61-0,69), considerada aceitável, mas não excepcional. Os modelos testados incluíram ChatGPT-3.5, ChatGPT-4, Bard e Bing Chat, com destaque para o ChatGPT-4, que apresentou a maior acurácia agrupada (0,74; IC 95%: 0,73-0,79), enquanto o ChatGPT-3.5 teve o pior desempenho (0,52; IC 95%: 0,51-0,54).

O desempenho variou significativamente conforme o tópico de oftalmologia avaliado. Os LLMs obtiveram melhor acurácia em 'patologia' (0,78; IC 95%: 0,70-0,86) e pior desempenho em 'fundamentos e princípios de oftalmologia' (0,52; IC 95%: 0,48-0,56). Essa heterogeneidade sugere que a competência dos modelos não é uniforme entre as subáreas da especialidade.

Os autores concluem que a acurácia geral é aceitável, porém inconsistente, e destacam a necessidade de estudos futuros que incluam questões com imagens para examinar de forma mais abrangente a competência dos LLMs. O resumo não informa a quantidade total de questões analisadas nem o intervalo de tempo da busca, mas os estudos foram publicados em inglês e indexados no PubMed e Embase até março de 2024.

Para o médico oftalmologista, os achados indicam que os LLMs podem auxiliar em tarefas educacionais e de revisão, mas seu uso como ferramenta única de resposta a questões de título ainda não é confiável, especialmente em tópicos fundamentais. A variação entre modelos e tópicos reforça a importância de validação local e de cautela na incorporação dessas ferramentas na prática clínica ou em programas de educação médica continuada.

## O que o estudo mostrou

Trata-se de uma meta-análise que incluiu 14 estudos publicados em inglês, recuperados do PubMed e Embase em março de 2024, que relatavam a acurácia de LLMs em questões de oftalmologia no formato de prova de título. A acurácia global agrupada foi de 0,65 (IC 95%: 0,61-0,69). ChatGPT-4 obteve 0,74 (IC 95%: 0,73-0,79) e ChatGPT-3.5, 0,52 (IC 95%: 0,51-0,54). O melhor desempenho foi em patologia (0,78; IC 95%: 0,70-0,86) e o pior em fundamentos e princípios de oftalmologia (0,52; IC 95%: 0,48-0,56).

## Limitações

O resumo não informa o número total de questões analisadas, a qualidade metodológica dos estudos incluídos, nem se houve avaliação de viés de publicação. Também não detalha a heterogeneidade entre os estudos. Os resultados se restringem a questões sem imagens, o que limita a generalização para a prática clínica real, onde imagens são frequentes. Estudos futuros com questões imagéticas são necessários.

## Aplicação no consultório

Os achados sugerem que LLMs podem ser úteis como apoio educacional para médicos em treinamento, mas não devem ser a única fonte para responder questões de título, dado o desempenho inconsistente entre tópicos e modelos. Na gestão do consultório, ferramentas de IA podem auxiliar na triagem de dúvidas e na educação continuada da equipe, desde que supervisionadas. A variação por tópico recomenda cautela em áreas fundamentais e reforça a necessidade de validação local antes de incorporar essas ferramentas ao fluxo de trabalho.

## Perguntas para aprofundar

- Como o desempenho dos LLMs varia entre diferentes tópicos de oftalmologia?
- Qual modelo de linguagem apresenta maior acurácia em questões de oftalmologia?
- Quais são as limitações dos estudos sobre LLMs em oftalmologia?

Tema: IA em oftalmologia e retinopatia. Página: https://alphadoctor.com.br/ciencia/ia-oftalmologia/qual-e-a-acuracia-dos-grandes-modelos-de-linguagem-em-responder-questoes-de/

Conteúdo educacional para profissionais de saúde, baseado no resumo do artigo citado. Não substitui a leitura do estudo original nem avaliação clínica.