IA em oftalmologia e retinopatia

Como os grandes modelos de linguagem estão sendo avaliados em aplicações de saúde e quais as lacunas dessas avaliações?

Resposta

A revisão sistemática analisou 519 estudos publicados entre janeiro de 2022 e fevereiro de 2024 que avaliaram grandes modelos de linguagem (LLMs) em saúde. Os autores categorizaram as avaliações em cinco componentes: tipo de dado, tarefa em saúde, tarefas de processamento de linguagem natural (NLP) e compreensão de linguagem natural (NLU), dimensão de avaliação e especialidade médica. O objetivo foi identificar as áreas mais úteis e as lacunas existentes.

Os resultados mostram que apenas 5% dos estudos usaram dados reais de cuidado ao paciente para avaliação. As tarefas em saúde mais comuns foram avaliação de conhecimento médico, como responder a questões de exames de licenciamento (44,5%), e realização de diagnósticos (19,5%). Tarefas administrativas, como atribuição de códigos de faturamento (0,2%) e redação de prescrições (0,2%), foram muito menos estudadas. Em NLP/NLU, a maioria focou em resposta a perguntas (84,2%), enquanto sumarização (8,9%) e diálogo conversacional (3,3%) foram infrequentes.

Quase todos os estudos (95,4%) usaram acurácia como principal dimensão de avaliação. Fairness, viés e toxicidade foram medidos em 15,8% dos estudos; considerações de implantação em 4,6%; e calibração e incerteza em apenas 1,2%. Em relação às especialidades médicas, predominaram aplicações genéricas em saúde (25,6%), medicina interna (16,4%), cirurgia (11,4%) e oftalmologia (6,9%). Medicina nuclear (0,6%), medicina física (0,4%) e genética médica (0,2%) foram as menos representadas.

Os autores concluem que as avaliações atuais de LLMs concentram-se na acurácia de respostas a questões de exames médicos, sem considerar dados reais de pacientes. Dimensões como fairness, viés, toxicidade e considerações de implantação receberam atenção limitada. Recomenda-se que avaliações futuras adotem aplicações e métricas padronizadas, utilizem dados clínicos e ampliem o foco para uma variedade maior de tarefas e especialidades.

Para o médico brasileiro, esses achados indicam que a evidência sobre LLMs em saúde ainda é limitada por falta de dados clínicos reais e de métricas abrangentes. A aplicação na prática clínica e na gestão do consultório deve considerar essas lacunas, priorizando avaliações que incluam dados de pacientes e dimensões além da acurácia, como segurança e equidade.

O que o estudo mostrou

Revisão sistemática de 519 estudos publicados entre janeiro de 2022 e fevereiro de 2024, avaliando LLMs em saúde. Apenas 5% usaram dados reais de pacientes. As tarefas mais comuns foram responder questões de exames médicos (44,5%) e fazer diagnósticos (19,5%). Em NLP/NLU, 84,2% focaram em resposta a perguntas. Acurácia foi a dimensão de avaliação em 95,4% dos estudos; fairness, viés e toxicidade em 15,8%; considerações de implantação em 4,6%; calibração e incerteza em 1,2%. Especialidades mais estudadas: aplicações genéricas (25,6%), medicina interna (16,4%), cirurgia (11,4%) e oftalmologia (6,9%).

Limitações

O resumo não informa limitações do estudo, como viés de publicação ou heterogeneidade das avaliações. Também não detalha a qualidade metodológica dos estudos incluídos. A categorização por palavras-chave pode ter imprecisões. Os achados refletem apenas o período e as bases pesquisadas (PubMed e Web of Science), não sendo possível generalizar para toda a literatura.

Aplicação no consultório

O médico deve interpretar com cautela evidências sobre LLMs em saúde, pois a maioria dos estudos não usa dados reais de pacientes e foca em acurácia de respostas a exames. Para incorporar essas ferramentas no consultório, é preciso considerar dimensões como fairness, viés e toxicidade, além de calibração e incerteza, que foram pouco avaliadas. A gestão do consultório pode se beneficiar de aplicações administrativas, mas estas são pouco estudadas. Recomenda-se aguardar avaliações com dados clínicos e métricas padronizadas antes de adotar LLMs na prática clínica.

Estudo citado

Testing and Evaluation of Health Care Applications of Large Language Models: A Systematic Review. JAMA, 2025.
Autores: Bedi S, Liu Y, Orr-Ewing L, Dash D, Koyejo S, Callahan A, Fries JA, Wornow M, Swaminathan A, Lehmann LS, Hong HJ, Kashyap M, Chaurasia AR, Shah NR, Singh K, Tazbaz T, Milstein A, Pfeffer MA, Shah NH.
DOI: 10.1001/jama.2024.21700 · PubMed: PMID 39405325

Perguntas para aprofundar

• Quais dimensões de avaliação além da acurácia são importantes para LLMs em saúde?
• Como a falta de dados reais de pacientes limita a aplicação de LLMs na prática clínica?
• Quais especialidades médicas estão sub-representadas nas avaliações de LLMs?

Mais sobre IA em oftalmologia e retinopatia

• As intervenções de saúde baseadas em inteligência artificial são custo-efetivas segundo a evidência econômica disponível?
• Qual é a acurácia dos grandes modelos de linguagem em responder questões de oftalmologia no formato de prova de título?
• Modelos de deep learning são confiáveis para detectar cáries em imagens odontológicas?
• Modelos de inteligência artificial baseados em OCT podem prever o campo visual no glaucoma?
• Qual é a efetividade real dos sistemas de apoio à decisão clínica com inteligência artificial na atenção primária?

Todas as perguntas sobre IA em oftalmologia e retinopatia · Todos os temas · Versão em markdown