IA em oftalmologia e retinopatia

Qual é a acurácia dos grandes modelos de linguagem em responder questões de oftalmologia no formato de prova de título?

Resposta

A meta-análise reuniu 14 estudos que avaliaram a acurácia de grandes modelos de linguagem (LLMs) em questões de oftalmologia no formato de prova de título. A acurácia global agrupada foi de 0,65 (IC 95%: 0,61-0,69), considerada aceitável, mas não excepcional. Os modelos testados incluíram ChatGPT-3.5, ChatGPT-4, Bard e Bing Chat, com destaque para o ChatGPT-4, que apresentou a maior acurácia agrupada (0,74; IC 95%: 0,73-0,79), enquanto o ChatGPT-3.5 teve o pior desempenho (0,52; IC 95%: 0,51-0,54).

O desempenho variou significativamente conforme o tópico de oftalmologia avaliado. Os LLMs obtiveram melhor acurácia em 'patologia' (0,78; IC 95%: 0,70-0,86) e pior desempenho em 'fundamentos e princípios de oftalmologia' (0,52; IC 95%: 0,48-0,56). Essa heterogeneidade sugere que a competência dos modelos não é uniforme entre as subáreas da especialidade.

Os autores concluem que a acurácia geral é aceitável, porém inconsistente, e destacam a necessidade de estudos futuros que incluam questões com imagens para examinar de forma mais abrangente a competência dos LLMs. O resumo não informa a quantidade total de questões analisadas nem o intervalo de tempo da busca, mas os estudos foram publicados em inglês e indexados no PubMed e Embase até março de 2024.

Para o médico oftalmologista, os achados indicam que os LLMs podem auxiliar em tarefas educacionais e de revisão, mas seu uso como ferramenta única de resposta a questões de título ainda não é confiável, especialmente em tópicos fundamentais. A variação entre modelos e tópicos reforça a importância de validação local e de cautela na incorporação dessas ferramentas na prática clínica ou em programas de educação médica continuada.

O que o estudo mostrou

Trata-se de uma meta-análise que incluiu 14 estudos publicados em inglês, recuperados do PubMed e Embase em março de 2024, que relatavam a acurácia de LLMs em questões de oftalmologia no formato de prova de título. A acurácia global agrupada foi de 0,65 (IC 95%: 0,61-0,69). ChatGPT-4 obteve 0,74 (IC 95%: 0,73-0,79) e ChatGPT-3.5, 0,52 (IC 95%: 0,51-0,54). O melhor desempenho foi em patologia (0,78; IC 95%: 0,70-0,86) e o pior em fundamentos e princípios de oftalmologia (0,52; IC 95%: 0,48-0,56).

Limitações

O resumo não informa o número total de questões analisadas, a qualidade metodológica dos estudos incluídos, nem se houve avaliação de viés de publicação. Também não detalha a heterogeneidade entre os estudos. Os resultados se restringem a questões sem imagens, o que limita a generalização para a prática clínica real, onde imagens são frequentes. Estudos futuros com questões imagéticas são necessários.

Aplicação no consultório

Os achados sugerem que LLMs podem ser úteis como apoio educacional para médicos em treinamento, mas não devem ser a única fonte para responder questões de título, dado o desempenho inconsistente entre tópicos e modelos. Na gestão do consultório, ferramentas de IA podem auxiliar na triagem de dúvidas e na educação continuada da equipe, desde que supervisionadas. A variação por tópico recomenda cautela em áreas fundamentais e reforça a necessidade de validação local antes de incorporar essas ferramentas ao fluxo de trabalho.

Estudo citado

Accuracy of large language models in answering ophthalmology board-style questions: A meta-analysis. Asia-Pacific journal of ophthalmology (Philadelphia, Pa.), 2024.
Autores: Wu JH, Nishida T, Liu TYA.
DOI: 10.1016/j.apjo.2024.100106 · PubMed: PMID 39374807

Perguntas para aprofundar

• Como o desempenho dos LLMs varia entre diferentes tópicos de oftalmologia?
• Qual modelo de linguagem apresenta maior acurácia em questões de oftalmologia?
• Quais são as limitações dos estudos sobre LLMs em oftalmologia?

Mais sobre IA em oftalmologia e retinopatia

• Como a tele-educação e a inteligência artificial podem ampliar o treinamento em retinopatia da prematuridade?
• Modelos de deep learning aplicados a imagens de retina são eficazes para detectar e prever doença renal relacionada ao diabetes?
• A triagem de retinopatia diabética por inteligência artificial em imagens de fundo de campo ultra-amplo tem desempenho diagnóstico confiável?
• O aprendizado de máquina é mais preciso que o olho humano na detecção de descolamento de retina?
• Modelos de inteligência artificial são eficazes na detecção de doenças vitreorretinianas em exames de imagem?

Todas as perguntas sobre IA em oftalmologia e retinopatia · Todos os temas · Versão em markdown