# A implementação de geração aumentada por recuperação (RAG) melhora o desempenho de grandes modelos de linguagem em tarefas clínicas?

> Sim. Uma revisão sistemática com meta-análise mostrou que a implementação de RAG aumentou o desempenho de LLMs em tarefas clínicas, com odds ratio de 1,35 (IC 95% 1,19-1,53; P = 0,001). O estudo também propôs diretrizes para orientar o desenvolvimento e a implementação clínica dessas aplicações.

Estudo citado: Liu S, McCoy AB, Wright A. Improving large language model applications in biomedicine with retrieval-augmented generation: a systematic review, meta-analysis, and clinical development guidelines. Journal of the American Medical Informatics Association : JAMIA. 2025. DOI: https://doi.org/10.1093/jamia/ocaf008. PubMed: https://pubmed.ncbi.nlm.nih.gov/39812777/

## Resposta

A revisão sistemática e meta-análise reuniu evidências recentes sobre o uso de geração aumentada por recuperação (RAG) em modelos de linguagem de grande porte (LLMs) na biomedicina. O objetivo foi sintetizar os achados e fornecer diretrizes clínicas para melhorar a efetividade dessas aplicações. A busca abrangeu publicações de 2023 e 2024 em três bases de dados, e os estudos incluídos compararam o desempenho de LLMs com e sem RAG.

Os resultados mostraram que a implementação de RAG proporcionou um aumento estatisticamente significativo no desempenho, com odds ratio agrupado de 1,35 (intervalo de confiança de 95%: 1,19-1,53; P = 0,001). Isso indica que a recuperação de informações externas pode aprimorar a qualidade das respostas dos modelos em tarefas clínicas. O estudo também descreveu as tarefas clínicas avaliadas, os modelos de base utilizados, as fontes e estratégias de recuperação, bem como os métodos de avaliação empregados.

Com base na revisão, os autores desenvolveram diretrizes para a implementação unificada e o desenvolvimento de aplicações aprimoradas de LLMs com RAG em ambientes clínicos. Essas diretrizes visam orientar profissionais e gestores na adoção dessa tecnologia, considerando aspectos técnicos e clínicos. A conclusão reforça que a RAG pode ser uma estratégia útil para melhorar a precisão e a relevância das informações geradas por LLMs.

Para o futuro, os autores sugerem três focos de pesquisa: aprimoramento em nível de sistema, combinando RAG com agentes; aprimoramento em nível de conhecimento, com integração profunda do conhecimento nos LLMs; e aprimoramento em nível de integração, incorporando sistemas RAG aos registros eletrônicos de saúde. Essas direções apontam para uma evolução das aplicações, buscando maior eficácia e integração aos fluxos de trabalho clínicos.

## O que o estudo mostrou

Trata-se de uma revisão sistemática com meta-análise que incluiu 20 estudos, selecionados a partir de 335 publicações de 2023 e 2024. Os estudos compararam o desempenho de LLMs com e sem RAG. A meta-análise de efeitos aleatórios revelou odds ratio agrupado de 1,35 (IC 95% 1,19-1,53; P = 0,001), indicando benefício significativo da RAG. O resumo também relata que foram descritas tarefas clínicas, modelos de base, fontes e estratégias de recuperação e métodos de avaliação.

## Limitações

O resumo não informa detalhes sobre a qualidade metodológica dos estudos incluídos, possíveis vieses de publicação ou heterogeneidade entre as pesquisas. Também não são especificadas as tarefas clínicas avaliadas nem os modelos de linguagem utilizados, o que limita a generalização dos achados. Além disso, o resumo não descreve as diretrizes propostas em detalhe, impossibilitando uma análise aprofundada de sua aplicabilidade.

## Aplicação no consultório

Os achados sugerem que a incorporação de RAG em ferramentas de LLM pode melhorar a qualidade das informações clínicas geradas, o que pode auxiliar médicos na tomada de decisões e na gestão do consultório. As diretrizes propostas podem orientar a seleção e implementação dessas tecnologias, considerando aspectos de segurança e eficácia. No entanto, a aplicação prática exige avaliação cuidadosa do contexto e das necessidades específicas da prática clínica, além de atenção à integração com registros eletrônicos e fluxos de trabalho existentes.

## Perguntas para aprofundar

- Quais são as diretrizes propostas para implementação de RAG em ambientes clínicos?
- Como a RAG pode ser integrada aos registros eletrônicos de saúde para melhorar a prática clínica?
- Quais tarefas clínicas foram avaliadas nos estudos sobre RAG e LLMs?

Tema: LLMs e chatbots clínicos. Página: https://alphadoctor.com.br/ciencia/ia-llm-chatbots/a-implementacao-de-geracao-aumentada-por-recuperacao-rag-melhora-o-desempenho/

Conteúdo educacional para profissionais de saúde, baseado no resumo do artigo citado. Não substitui a leitura do estudo original nem avaliação clínica.