# Como os grandes modelos de linguagem estão sendo avaliados em aplicações de saúde e quais as lacunas dessas avaliações?

> Uma revisão sistemática de 519 estudos publicados entre 2022 e 2024 mostrou que apenas 5% usaram dados reais de pacientes. A maioria avaliou respostas a questões de exames médicos (44,5%) e acurácia (95,4%), com pouca atenção a fairness, viés, toxicidade e considerações de implantação. Tarefas administrativas e especialidades como medicina nuclear e genética médica foram pouco estudadas.

Estudo citado: Bedi S, Liu Y, Orr-Ewing L, Dash D, Koyejo S, Callahan A et al.. Testing and Evaluation of Health Care Applications of Large Language Models: A Systematic Review. JAMA. 2025. DOI: https://doi.org/10.1001/jama.2024.21700. PubMed: https://pubmed.ncbi.nlm.nih.gov/39405325/

## Resposta

A revisão sistemática analisou 519 estudos publicados entre janeiro de 2022 e fevereiro de 2024 que avaliaram grandes modelos de linguagem (LLMs) em saúde. Os autores categorizaram as avaliações em cinco componentes: tipo de dado, tarefa em saúde, tarefas de processamento de linguagem natural (NLP) e compreensão de linguagem natural (NLU), dimensão de avaliação e especialidade médica. O objetivo foi identificar as áreas mais úteis e as lacunas existentes.

Os resultados mostram que apenas 5% dos estudos usaram dados reais de cuidado ao paciente para avaliação. As tarefas em saúde mais comuns foram avaliação de conhecimento médico, como responder a questões de exames de licenciamento (44,5%), e realização de diagnósticos (19,5%). Tarefas administrativas, como atribuição de códigos de faturamento (0,2%) e redação de prescrições (0,2%), foram muito menos estudadas. Em NLP/NLU, a maioria focou em resposta a perguntas (84,2%), enquanto sumarização (8,9%) e diálogo conversacional (3,3%) foram infrequentes.

Quase todos os estudos (95,4%) usaram acurácia como principal dimensão de avaliação. Fairness, viés e toxicidade foram medidos em 15,8% dos estudos; considerações de implantação em 4,6%; e calibração e incerteza em apenas 1,2%. Em relação às especialidades médicas, predominaram aplicações genéricas em saúde (25,6%), medicina interna (16,4%), cirurgia (11,4%) e oftalmologia (6,9%). Medicina nuclear (0,6%), medicina física (0,4%) e genética médica (0,2%) foram as menos representadas.

Os autores concluem que as avaliações atuais de LLMs concentram-se na acurácia de respostas a questões de exames médicos, sem considerar dados reais de pacientes. Dimensões como fairness, viés, toxicidade e considerações de implantação receberam atenção limitada. Recomenda-se que avaliações futuras adotem aplicações e métricas padronizadas, utilizem dados clínicos e ampliem o foco para uma variedade maior de tarefas e especialidades.

Para o médico brasileiro, esses achados indicam que a evidência sobre LLMs em saúde ainda é limitada por falta de dados clínicos reais e de métricas abrangentes. A aplicação na prática clínica e na gestão do consultório deve considerar essas lacunas, priorizando avaliações que incluam dados de pacientes e dimensões além da acurácia, como segurança e equidade.

## O que o estudo mostrou

Revisão sistemática de 519 estudos publicados entre janeiro de 2022 e fevereiro de 2024, avaliando LLMs em saúde. Apenas 5% usaram dados reais de pacientes. As tarefas mais comuns foram responder questões de exames médicos (44,5%) e fazer diagnósticos (19,5%). Em NLP/NLU, 84,2% focaram em resposta a perguntas. Acurácia foi a dimensão de avaliação em 95,4% dos estudos; fairness, viés e toxicidade em 15,8%; considerações de implantação em 4,6%; calibração e incerteza em 1,2%. Especialidades mais estudadas: aplicações genéricas (25,6%), medicina interna (16,4%), cirurgia (11,4%) e oftalmologia (6,9%).

## Limitações

O resumo não informa limitações do estudo, como viés de publicação ou heterogeneidade das avaliações. Também não detalha a qualidade metodológica dos estudos incluídos. A categorização por palavras-chave pode ter imprecisões. Os achados refletem apenas o período e as bases pesquisadas (PubMed e Web of Science), não sendo possível generalizar para toda a literatura.

## Aplicação no consultório

O médico deve interpretar com cautela evidências sobre LLMs em saúde, pois a maioria dos estudos não usa dados reais de pacientes e foca em acurácia de respostas a exames. Para incorporar essas ferramentas no consultório, é preciso considerar dimensões como fairness, viés e toxicidade, além de calibração e incerteza, que foram pouco avaliadas. A gestão do consultório pode se beneficiar de aplicações administrativas, mas estas são pouco estudadas. Recomenda-se aguardar avaliações com dados clínicos e métricas padronizadas antes de adotar LLMs na prática clínica.

## Perguntas para aprofundar

- Quais dimensões de avaliação além da acurácia são importantes para LLMs em saúde?
- Como a falta de dados reais de pacientes limita a aplicação de LLMs na prática clínica?
- Quais especialidades médicas estão sub-representadas nas avaliações de LLMs?

Tema: IA em oftalmologia e retinopatia. Página: https://alphadoctor.com.br/ciencia/ia-oftalmologia/como-os-grandes-modelos-de-linguagem-estao-sendo-avaliados-em-aplicacoes-de/

Conteúdo educacional para profissionais de saúde, baseado no resumo do artigo citado. Não substitui a leitura do estudo original nem avaliação clínica.