# O uso de grandes modelos de linguagem pode melhorar a predição de complicações após protonterapia em câncer de pulmão?

> Sim, segundo o estudo, a integração de grandes modelos de linguagem (LLMs) com meta-análise aumentou a eficiência das avaliações de literatura e reduziu o tempo necessário, com o ChatGPT-4 alcançando 90% de acurácia. Não houve diferenças significativas entre os modelos na predição de complicações pós-protonterapia em câncer de pulmão.

Estudo citado: Chao PJ, Chang CH, Wu JJ, Liu YH, Shiau J, Shih HH et al.. Improving Prediction of Complications Post-Proton Therapy in Lung Cancer Using Large Language Models and Meta-Analysis. Cancer control : journal of the Moffitt Cancer Center. 2024. DOI: https://doi.org/10.1177/10732748241286749. PubMed: https://pubmed.ncbi.nlm.nih.gov/39307562/

## Resposta

O estudo investigou como LLMs podem auxiliar na avaliação de qualidade de literatura e na predição de complicações em pacientes com câncer de pulmão submetidos à protonterapia. Foram integradas revisões sistemáticas com avaliações por LLMs, utilizando bases como Web of Science, PubMed e Scopus, e ferramentas de meta-análise para estimar tamanhos de efeito e heterogeneidade.

Os resultados da meta-análise mostraram um tamanho de efeito global de 0,78 para as predições dos modelos, com alta heterogeneidade (I2 = 72,88%, P < 0,001). Nas análises de subgrupo para esofagite e pneumonite induzidas por radiação, os tamanhos de efeito foram 0,79 e 0,77, respectivamente, com I2 = 0%, indicando ausência de diferenças significativas entre os modelos na predição dessas complicações específicas.

A avaliação da literatura por LLMs mostrou que o ChatGPT-4 obteve a maior acurácia (90%), superando significativamente os modelos Llama3 e Llama2, cujas acurácias variaram de 44% a 62%. Além disso, as avaliações por LLMs foram realizadas 3229 vezes mais rápido que as avaliações manuais, aumentando consideravelmente a eficiência e a acurácia.

A avaliação de risco identificou nove estudos como alto risco, três como baixo risco e um como desconhecido, confirmando a robustez do ChatGPT-4 em várias métricas de avaliação. A conclusão é que a integração de LLMs com técnicas de meta-análise pode aumentar significativamente a eficiência das avaliações de literatura e reduzir o tempo necessário, sem diferenças significativas entre os modelos na predição de complicações pós-protonterapia em câncer de pulmão.

## O que o estudo mostrou

O estudo integrou revisões sistemáticas com avaliações por LLMs, usando meta-análise para estimar tamanhos de efeito e heterogeneidade. A amostra de estudos não é informada no resumo. O tamanho de efeito global foi 0,78, com alta heterogeneidade (I2 = 72,88%, P < 0,001). Subgrupos para esofagite e pneumonite tiveram efeitos 0,79 e 0,77, com I2 = 0%. O ChatGPT-4 teve acurácia de 90%, superior aos modelos Llama (44% a 62%), e as avaliações por LLM foram 3229 vezes mais rápidas que as manuais.

## Limitações

O resumo não informa o número de estudos incluídos na meta-análise, nem detalhes sobre a população de pacientes ou os critérios de inclusão e exclusão. Também não são descritas as limitações metodológicas do estudo ou dos modelos de LLM utilizados. A alta heterogeneidade observada na análise global (I2 = 72,88%) sugere variabilidade entre os estudos, mas o resumo não explora suas causas. Além disso, a avaliação de risco identificou nove estudos como alto risco, o que pode influenciar os resultados.

## Aplicação no consultório

A integração de LLMs com meta-análise pode agilizar a revisão de literatura e a avaliação de qualidade de estudos, auxiliando o médico na tomada de decisão baseada em evidências. No consultório, isso pode se traduzir em maior eficiência para se manter atualizado e para avaliar criticamente artigos científicos. A alta acurácia do ChatGPT-4 sugere que ferramentas de LLM podem ser úteis para triagem rápida de evidências, mas os resultados não indicam diferenças entre modelos na predição de complicações, reforçando a necessidade de julgamento clínico.

## Perguntas para aprofundar

- Qual a acurácia do ChatGPT-4 na avaliação de qualidade de estudos sobre complicações pós-protonterapia?
- Como os LLMs podem reduzir o tempo de revisão sistemática na prática clínica?
- Quais as limitações da meta-análise na predição de complicações em câncer de pulmão?

Tema: LLMs e chatbots clínicos. Página: https://alphadoctor.com.br/ciencia/ia-llm-chatbots/o-uso-de-grandes-modelos-de-linguagem-pode-melhorar-a-predicao-de-complicacoes/

Conteúdo educacional para profissionais de saúde, baseado no resumo do artigo citado. Não substitui a leitura do estudo original nem avaliação clínica.