Modelos de linguagem de grande porte (LLMs) podem automatizar etapas de revisões sistemáticas com desempenho confiável?
Resposta curta: Uma revisão sistemática de 63 estudos mostrou que LLMs, especialmente gerações mais recentes, apresentam boa concordância com revisores humanos em triagem de títulos/resumos e textos completos, com medianas de concordância acima de 0,89. Para extração de dados e risco de viés, o desempenho foi mais variável. Os autores recomendam implementação cautelosa com supervisão humana.
Resposta
A revisão sistemática avaliou o desempenho de LLMs em etapas de revisões sistemáticas e meta-análises, comparando-as com revisores humanos. Foram incluídos 63 estudos, dos quais 52 relataram métricas de desempenho, totalizando 148 avaliações. A maioria envolveu modelos GPT (77%). As tarefas mais avaliadas foram triagem de títulos e resumos (53%), extração de dados (16%) e triagem de texto completo (14%).
Para triagem de títulos e resumos, a mediana de concordância positiva (PPA) foi 0,92 (IQR 0,69-0,98) e a de concordância negativa (NPA) foi 0,89 (IQR 0,72-0,95). Na triagem de texto completo, a PPA mediana foi 0,93 (IQR 0,87-1,00) e a NPA mediana foi 0,92 (IQR 0,78-0,97). Modelos lançados após o GPT-4 pareceram ter desempenho superior aos anteriores.
Para extração de dados, a acurácia global variou de 0,36 a 1,00, com mediana de 0,95 (IQR 0,91-0,97, n=11). Na avaliação de risco de viés, a acurácia variou de 0,44 a 0,90 (mediana 0,62, IQR 0,53-0,76, n=6). Em outras tarefas, os autores relataram bom desempenho geral, mas a variabilidade das métricas impediu síntese quantitativa completa.
Os autores concluem que LLMs, particularmente as gerações mais recentes, mostram potencial para automatizar etapas repetitivas de revisões sistemáticas, como a triagem. No entanto, a integração bem-sucedida exigirá salvaguardas apropriadas e implementação cuidadosa, com supervisão humana, relato transparente e uso como assistentes, não substitutos do julgamento humano.
O que o estudo mostrou
Revisão sistemática que buscou estudos em PubMed, Embase, Cochrane Library e plataformas de preprints até 14 de janeiro de 2025. Foram incluídos 63 estudos, dos quais 52 relataram métricas de desempenho, totalizando 148 avaliações. A maioria avaliou modelos GPT (77%). As tarefas mais frequentes foram triagem de títulos e resumos (53%), extração de dados (16%) e triagem de texto completo (14%). Para triagem de títulos e resumos, a mediana de PPA foi 0,92 (IQR 0,69-0,98) e a de NPA foi 0,89 (IQR 0,72-0,95). Para triagem de texto completo, a PPA mediana foi 0,93 (IQR 0,87-1,00) e a NPA mediana foi 0,92 (IQR 0,78-0,97). Modelos pós-GPT-4 pareceram ter melhor desempenho. Para extração de dados, a acurácia variou de 0,36 a 1,00 (mediana 0,95; IQR 0,91-0,97; n=11). Para risco de viés, a acurácia variou de 0,44 a 0,90 (mediana 0,62; IQR 0,53-0,76; n=6).
Limitações
O resumo não informa detalhes sobre a qualidade metodológica dos estudos incluídos, nem sobre heterogeneidade entre eles. A variabilidade das métricas de desempenho impediu síntese quantitativa completa para várias tarefas. Os resultados se baseiam em medianas e intervalos interquartis, que podem mascarar diferenças entre modelos e contextos. O resumo não informa análise de subgrupos por tipo de modelo ou tarefa, nem avaliação de risco de viés dos estudos primários.
Aplicação no consultório
Para o médico que realiza ou consome revisões sistemáticas, os achados sugerem que LLMs podem auxiliar na triagem de grandes volumes de literatura, mas não devem substituir a avaliação humana. Na gestão do consultório, ferramentas de LLM podem ser consideradas para agilizar a seleção de artigos em projetos de atualização científica, desde que haja supervisão e verificação. A implementação deve ser cautelosa, com protocolos claros e treinamento da equipe, evitando confiar cegamente em tarefas complexas como extração de dados e avaliação de risco de viés.
Estudo citado
Large language models show promising performance for some systematic review tasks but call for cautious implementation: a systematic review. Journal of clinical epidemiology, 2026.
Autores: Laignelot F, Martin GL, Ossman M, Pingeon O, Boubaker A, Picovschi E, Kim J, Tannier X, Cohen JF, Dechartres A.
DOI: 10.1016/j.jclinepi.2026.112221 · PubMed: PMID 41831731
Perguntas para aprofundar
- Qual é o desempenho de LLMs na triagem de títulos e resumos em comparação com revisores humanos?
- LLMs podem substituir revisores humanos na avaliação de risco de viés em revisões sistemáticas?
- Quais salvaguardas são necessárias para implementar LLMs em revisões sistemáticas na prática clínica?
Mais sobre LLMs e chatbots clínicos
- A inteligência artificial generativa é confiável para extrair dados de revisões sistemáticas em psicologia?
- Quais estratégias baseadas em evidências reduzem alucinações em modelos de linguagem na saúde?
- Modelos de linguagem de inteligência artificial superam métodos convencionais na análise de textos médicos?
- O que a revisão sistemática assistida por LLM revela sobre a qualidade e os resultados dos estudos de LLMs em medicina clínica?
- Sistemas de pacientes virtuais baseados em grandes modelos de linguagem são eficazes para treinar anamnese na educação médica?
Todas as perguntas sobre LLMs e chatbots clínicos · Todos os temas · Versão em markdown