# Modelos de linguagem de grande porte (LLMs) podem automatizar etapas de revisões sistemáticas com desempenho confiável?

> Uma revisão sistemática de 63 estudos mostrou que LLMs, especialmente gerações mais recentes, apresentam boa concordância com revisores humanos em triagem de títulos/resumos e textos completos, com medianas de concordância acima de 0,89. Para extração de dados e risco de viés, o desempenho foi mais variável. Os autores recomendam implementação cautelosa com supervisão humana.

Estudo citado: Laignelot F, Martin GL, Ossman M, Pingeon O, Boubaker A, Picovschi E et al.. Large language models show promising performance for some systematic review tasks but call for cautious implementation: a systematic review. Journal of clinical epidemiology. 2026. DOI: https://doi.org/10.1016/j.jclinepi.2026.112221. PubMed: https://pubmed.ncbi.nlm.nih.gov/41831731/

## Resposta

A revisão sistemática avaliou o desempenho de LLMs em etapas de revisões sistemáticas e meta-análises, comparando-as com revisores humanos. Foram incluídos 63 estudos, dos quais 52 relataram métricas de desempenho, totalizando 148 avaliações. A maioria envolveu modelos GPT (77%). As tarefas mais avaliadas foram triagem de títulos e resumos (53%), extração de dados (16%) e triagem de texto completo (14%).

Para triagem de títulos e resumos, a mediana de concordância positiva (PPA) foi 0,92 (IQR 0,69-0,98) e a de concordância negativa (NPA) foi 0,89 (IQR 0,72-0,95). Na triagem de texto completo, a PPA mediana foi 0,93 (IQR 0,87-1,00) e a NPA mediana foi 0,92 (IQR 0,78-0,97). Modelos lançados após o GPT-4 pareceram ter desempenho superior aos anteriores.

Para extração de dados, a acurácia global variou de 0,36 a 1,00, com mediana de 0,95 (IQR 0,91-0,97, n=11). Na avaliação de risco de viés, a acurácia variou de 0,44 a 0,90 (mediana 0,62, IQR 0,53-0,76, n=6). Em outras tarefas, os autores relataram bom desempenho geral, mas a variabilidade das métricas impediu síntese quantitativa completa.

Os autores concluem que LLMs, particularmente as gerações mais recentes, mostram potencial para automatizar etapas repetitivas de revisões sistemáticas, como a triagem. No entanto, a integração bem-sucedida exigirá salvaguardas apropriadas e implementação cuidadosa, com supervisão humana, relato transparente e uso como assistentes, não substitutos do julgamento humano.

## O que o estudo mostrou

Revisão sistemática que buscou estudos em PubMed, Embase, Cochrane Library e plataformas de preprints até 14 de janeiro de 2025. Foram incluídos 63 estudos, dos quais 52 relataram métricas de desempenho, totalizando 148 avaliações. A maioria avaliou modelos GPT (77%). As tarefas mais frequentes foram triagem de títulos e resumos (53%), extração de dados (16%) e triagem de texto completo (14%). Para triagem de títulos e resumos, a mediana de PPA foi 0,92 (IQR 0,69-0,98) e a de NPA foi 0,89 (IQR 0,72-0,95). Para triagem de texto completo, a PPA mediana foi 0,93 (IQR 0,87-1,00) e a NPA mediana foi 0,92 (IQR 0,78-0,97). Modelos pós-GPT-4 pareceram ter melhor desempenho. Para extração de dados, a acurácia variou de 0,36 a 1,00 (mediana 0,95; IQR 0,91-0,97; n=11). Para risco de viés, a acurácia variou de 0,44 a 0,90 (mediana 0,62; IQR 0,53-0,76; n=6).

## Limitações

O resumo não informa detalhes sobre a qualidade metodológica dos estudos incluídos, nem sobre heterogeneidade entre eles. A variabilidade das métricas de desempenho impediu síntese quantitativa completa para várias tarefas. Os resultados se baseiam em medianas e intervalos interquartis, que podem mascarar diferenças entre modelos e contextos. O resumo não informa análise de subgrupos por tipo de modelo ou tarefa, nem avaliação de risco de viés dos estudos primários.

## Aplicação no consultório

Para o médico que realiza ou consome revisões sistemáticas, os achados sugerem que LLMs podem auxiliar na triagem de grandes volumes de literatura, mas não devem substituir a avaliação humana. Na gestão do consultório, ferramentas de LLM podem ser consideradas para agilizar a seleção de artigos em projetos de atualização científica, desde que haja supervisão e verificação. A implementação deve ser cautelosa, com protocolos claros e treinamento da equipe, evitando confiar cegamente em tarefas complexas como extração de dados e avaliação de risco de viés.

## Perguntas para aprofundar

- Qual é o desempenho de LLMs na triagem de títulos e resumos em comparação com revisores humanos?
- LLMs podem substituir revisores humanos na avaliação de risco de viés em revisões sistemáticas?
- Quais salvaguardas são necessárias para implementar LLMs em revisões sistemáticas na prática clínica?

Tema: LLMs e chatbots clínicos. Página: https://alphadoctor.com.br/ciencia/ia-llm-chatbots/modelos-de-linguagem-de-grande-porte-llms-podem-automatizar-etapas-de-revisoes/

Conteúdo educacional para profissionais de saúde, baseado no resumo do artigo citado. Não substitui a leitura do estudo original nem avaliação clínica.