LLMs e chatbots clínicos

O uso de grandes modelos de linguagem pode melhorar a predição de complicações após protonterapia em câncer de pulmão?

Resposta

O estudo investigou como LLMs podem auxiliar na avaliação de qualidade de literatura e na predição de complicações em pacientes com câncer de pulmão submetidos à protonterapia. Foram integradas revisões sistemáticas com avaliações por LLMs, utilizando bases como Web of Science, PubMed e Scopus, e ferramentas de meta-análise para estimar tamanhos de efeito e heterogeneidade.

Os resultados da meta-análise mostraram um tamanho de efeito global de 0,78 para as predições dos modelos, com alta heterogeneidade (I2 = 72,88%, P < 0,001). Nas análises de subgrupo para esofagite e pneumonite induzidas por radiação, os tamanhos de efeito foram 0,79 e 0,77, respectivamente, com I2 = 0%, indicando ausência de diferenças significativas entre os modelos na predição dessas complicações específicas.

A avaliação da literatura por LLMs mostrou que o ChatGPT-4 obteve a maior acurácia (90%), superando significativamente os modelos Llama3 e Llama2, cujas acurácias variaram de 44% a 62%. Além disso, as avaliações por LLMs foram realizadas 3229 vezes mais rápido que as avaliações manuais, aumentando consideravelmente a eficiência e a acurácia.

A avaliação de risco identificou nove estudos como alto risco, três como baixo risco e um como desconhecido, confirmando a robustez do ChatGPT-4 em várias métricas de avaliação. A conclusão é que a integração de LLMs com técnicas de meta-análise pode aumentar significativamente a eficiência das avaliações de literatura e reduzir o tempo necessário, sem diferenças significativas entre os modelos na predição de complicações pós-protonterapia em câncer de pulmão.

O que o estudo mostrou

O estudo integrou revisões sistemáticas com avaliações por LLMs, usando meta-análise para estimar tamanhos de efeito e heterogeneidade. A amostra de estudos não é informada no resumo. O tamanho de efeito global foi 0,78, com alta heterogeneidade (I2 = 72,88%, P < 0,001). Subgrupos para esofagite e pneumonite tiveram efeitos 0,79 e 0,77, com I2 = 0%. O ChatGPT-4 teve acurácia de 90%, superior aos modelos Llama (44% a 62%), e as avaliações por LLM foram 3229 vezes mais rápidas que as manuais.

Limitações

O resumo não informa o número de estudos incluídos na meta-análise, nem detalhes sobre a população de pacientes ou os critérios de inclusão e exclusão. Também não são descritas as limitações metodológicas do estudo ou dos modelos de LLM utilizados. A alta heterogeneidade observada na análise global (I2 = 72,88%) sugere variabilidade entre os estudos, mas o resumo não explora suas causas. Além disso, a avaliação de risco identificou nove estudos como alto risco, o que pode influenciar os resultados.

Aplicação no consultório

A integração de LLMs com meta-análise pode agilizar a revisão de literatura e a avaliação de qualidade de estudos, auxiliando o médico na tomada de decisão baseada em evidências. No consultório, isso pode se traduzir em maior eficiência para se manter atualizado e para avaliar criticamente artigos científicos. A alta acurácia do ChatGPT-4 sugere que ferramentas de LLM podem ser úteis para triagem rápida de evidências, mas os resultados não indicam diferenças entre modelos na predição de complicações, reforçando a necessidade de julgamento clínico.

Estudo citado

Improving Prediction of Complications Post-Proton Therapy in Lung Cancer Using Large Language Models and Meta-Analysis. Cancer control : journal of the Moffitt Cancer Center, 2024.
Autores: Chao PJ, Chang CH, Wu JJ, Liu YH, Shiau J, Shih HH, Lin GZ, Lee SH, Lee TF.
DOI: 10.1177/10732748241286749 · PubMed: PMID 39307562

Perguntas para aprofundar

• Qual a acurácia do ChatGPT-4 na avaliação de qualidade de estudos sobre complicações pós-protonterapia?
• Como os LLMs podem reduzir o tempo de revisão sistemática na prática clínica?
• Quais as limitações da meta-análise na predição de complicações em câncer de pulmão?

Mais sobre LLMs e chatbots clínicos

• Modelos de linguagem de grande escala (LLMs) têm acurácia diagnóstica comparável à de profissionais clínicos?
• A implementação de geração aumentada por recuperação (RAG) melhora o desempenho de grandes modelos de linguagem em tarefas clínicas?
• Modelos de linguagem de grande porte (LLMs) são confiáveis para responder a exames de licenciamento odontológico?
• Como os modelos de linguagem de grande escala estão sendo aplicados e avaliados em neurocirurgia?
• Agentes relacionais baseados em inteligência artificial reduzem a solidão em diferentes faixas etárias?

Todas as perguntas sobre LLMs e chatbots clínicos · Todos os temas · Versão em markdown