Chatbots baseados em grandes modelos de linguagem são confiáveis para identificar interações medicamentosas na prática clínica?
Resposta curta: Uma revisão sistemática mostrou que chatbots públicos como ChatGPT, Bing AI e Google Bard têm desempenho variável e parcial na detecção de interações medicamentosas. O ChatGPT-4.0 identificou mais interações potenciais, mas com acurácia inconsistente. Bing AI e Google Bard foram menos confiáveis. Os autores concluem que faltam ferramentas dedicadas e padronização de métodos.
Resposta
A revisão sistemática, conduzida conforme o PRISMA e registrada no PROSPERO, buscou evidências sobre a capacidade de chatbots baseados em grandes modelos de linguagem (LLMs) em analisar interações medicamentosas (DDI). Foram incluídos nove estudos publicados entre 2023 e 2025 que avaliaram chatbots publicamente acessíveis, como ChatGPT, Bing AI e Google Bard. Os métodos variaram desde triagem de polifarmácia em nível de paciente até checagem de medicamentos isolados e vinhetas de casos clínicos.
Os resultados mostraram desempenho inconsistente entre os chatbots. O ChatGPT, especialmente a versão 4.0, tendeu a identificar mais interações potenciais, porém com acurácia variável. Já o Bing AI e o Google Bard foram menos confiáveis na detecção de DDIs. Essa variabilidade sugere que, embora os LLMs possam auxiliar, ainda não substituem ferramentas validadas e bases de dados especializadas.
Os autores concluem que a efetividade dos chatbots públicos é parcial e variável, não sendo suficiente para uso clínico rotineiro sem supervisão. Destacam a necessidade de desenvolver chatbots dedicados e gratuitos para identificação de DDIs, além de padronizar métodos de avaliação e ampliar o acesso. A revisão não fornece dados sobre amostra ou desenho dos estudos incluídos, limitando conclusões mais precisas.
Para o médico, os achados reforçam que o uso de LLMs na prática clínica deve ser cauteloso. A aplicação no consultório pode incluir o uso dessas ferramentas como apoio secundário, nunca como única fonte para decisões sobre interações medicamentosas. A gestão do consultório pode se beneficiar de políticas que orientem o uso crítico dessas tecnologias, priorizando fontes confiáveis e validadas.
O que o estudo mostrou
Revisão sistemática com nove estudos (2023-2025) que avaliaram chatbots públicos (ChatGPT, Bing AI, Google Bard) na identificação de interações medicamentosas. Os métodos variaram de triagem de polifarmácia a vinhetas de casos. O ChatGPT-4.0 identificou mais interações potenciais, mas com acurácia variável; Bing AI e Google Bard foram menos confiáveis. O resumo não informa o tamanho da amostra nem o desenho detalhado dos estudos incluídos.
Limitações
O resumo não informa o número total de pacientes ou casos avaliados, nem o desenho específico de cada estudo incluído. A heterogeneidade metodológica e a falta de padronização dificultam comparações. Além disso, a revisão se restringe a chatbots públicos, não avaliando ferramentas dedicadas. Essas lacunas limitam a generalização dos achados para a prática clínica.
Aplicação no consultório
Os achados sugerem que chatbots públicos não devem ser usados como ferramenta única para checar interações medicamentosas. No consultório, podem servir como apoio secundário, desde que o médico valide as informações em fontes confiáveis. Para a gestão, é prudente estabelecer diretrizes sobre o uso crítico dessas tecnologias, evitando decisões baseadas apenas em respostas de LLMs e priorizando bases de dados especializadas.
Estudo citado
A systematic mapping review on the capability of large language models in drug-drug interaction analysis. Expert review of clinical pharmacology, 2025.
Autores: Mondal H, Dash I, Mondal S, Varikasuvu SR, Gayen RK, Sharma S, Biri SK.
DOI: 10.1080/17512433.2025.2568090 · PubMed: PMID 40999995
Perguntas para aprofundar
- Qual o desempenho do ChatGPT-4.0 na identificação de interações medicamentosas em comparação com bases de dados tradicionais?
- Existem chatbots dedicados e gratuitos para análise de interações medicamentosas com validação clínica?
- Como padronizar a avaliação de LLMs para detecção de interações medicamentosas na prática clínica?
Mais sobre LLMs e chatbots clínicos
- Como os estudos que avaliam chatbots baseados em grandes modelos de linguagem para orientações de saúde estão sendo reportados?
- O que os grandes modelos de linguagem podem oferecer à enfermagem clínica e quais desafios práticos eles impõem?
- Quais estratégias baseadas em evidências reduzem alucinações em modelos de linguagem na saúde?
- Qual é a lacuna entre conhecimento e prática clínica em modelos de linguagem de grande escala (LLMs) na medicina?
- Um pipeline de modelo de linguagem de grande porte pode auditar automaticamente a adesão ao CONSORT em ensaios clínicos randomizados e o que ele revela sobre a qualidade da publicação?
Todas as perguntas sobre LLMs e chatbots clínicos · Todos os temas · Versão em markdown