# Qual é a acurácia dos grandes modelos de linguagem (LLMs) como chatbots médicos em gastroenterologia e hepatologia, e quais os riscos para a segurança do paciente?

> Uma revisão sistemática mostrou acurácia baixa e variável dos LLMs em gastroenterologia e hepatologia: ChatGPT-3.5 acertou entre 6,4% e 45,5% e ChatGPT-4 entre 40% e 91,4%. A falta de padronização metodológica compromete a generalização, e respostas incorretas podem causar eventos adversos à segurança do paciente.

Estudo citado: Giuffrè M, Kresevic S, You K, Dupont J, Huebner J, Grimshaw AA et al.. Systematic review: The use of large language models as medical chatbots in digestive diseases. Alimentary pharmacology & therapeutics. 2024. DOI: https://doi.org/10.1111/apt.18058. PubMed: https://pubmed.ncbi.nlm.nih.gov/38798194/

## Resposta

A revisão sistemática avaliou a acurácia e as implicações de segurança do uso de grandes modelos de linguagem (LLMs) como o ChatGPT para responder a perguntas clínicas em gastroenterologia e hepatologia. Foram incluídos 18 artigos na análise final, de um total de 33 textos completos identificados. A acurácia foi definida como a porcentagem de respostas inteiramente corretas.

Os resultados mostraram grande variação na acurácia conforme a versão do modelo. Para o ChatGPT-3.5, a acurácia variou de 6,4% a 45,5%, enquanto para o ChatGPT-4 ficou entre 40% e 91,4%. Essa diferença sugere que versões mais recentes podem ter melhor desempenho, mas os números ainda indicam limitações importantes para uso clínico.

Além disso, a ausência de metodologia padronizada e de métricas de relato para estudos com LLMs coloca todos os estudos incluídos em alto risco de viés, impossibilitando a generalização dos resultados de estudos individuais. Isso significa que as estimativas de acurácia podem não ser confiáveis ou aplicáveis a diferentes contextos.

Os autores concluem que os LLMs de uso geral atualmente têm acurácia inaceitavelmente baixa em tarefas clínicas de gastroenterologia e hepatologia. Isso pode levar a eventos adversos à segurança do paciente por meio de informações incorretas ou recomendações de triagem inadequadas, que podem sobrecarregar os sistemas de saúde ou atrasar o cuidado necessário.

Portanto, embora os LLMs representem uma ferramenta promissora, seu uso clínico nessas especialidades ainda não é seguro sem supervisão e validação adicionais. Médicos devem estar cientes dessas limitações ao considerar incorporar essas ferramentas na prática ou no consultório.

## O que o estudo mostrou

Trata-se de uma revisão sistemática que buscou artigos em múltiplas bases de dados até janeiro de 2024. De 1671 relatos triados, 33 textos completos foram identificados e 18 incluídos na análise final. A acurácia das respostas variou conforme a versão do modelo: ChatGPT-3.5 apresentou acurácia entre 6,4% e 45,5%, e ChatGPT-4 entre 40% e 91,4%. A falta de padronização metodológica foi observada em todos os estudos, resultando em alto risco de viés.

## Limitações

O resumo não informa detalhes sobre as características dos estudos incluídos, como tipos de perguntas clínicas avaliadas, especialidades específicas dentro da gastroenterologia e hepatologia, ou critérios exatos de acurácia. A ausência de metodologia padronizada e métricas de relato impede a generalização dos resultados. Além disso, o resumo não fornece informações sobre a qualidade individual dos estudos ou possíveis fontes de heterogeneidade.

## Aplicação no consultório

Os achados indicam que os LLMs atuais não são confiáveis para responder a perguntas clínicas em gastroenterologia e hepatologia, com risco de informações incorretas que podem comprometer a segurança do paciente. Na prática clínica, médicos devem evitar usar essas ferramentas como fonte única de decisão ou para triagem de pacientes sem validação cuidadosa. No consultório, é importante educar a equipe sobre essas limitações e não incorporar chatbots de uso geral em fluxos de atendimento sem supervisão médica e evidências robustas de acurácia.

## Perguntas para aprofundar

- Qual é a acurácia do ChatGPT-4 em comparação ao ChatGPT-3.5 para questões de gastroenterologia e hepatologia?
- Quais são os riscos de segurança do paciente associados ao uso de LLMs como chatbots médicos?
- Como a falta de padronização metodológica em estudos com LLMs afeta a interpretação dos resultados?

Tema: LLMs e chatbots clínicos. Página: https://alphadoctor.com.br/ciencia/ia-llm-chatbots/qual-e-a-acuracia-dos-grandes-modelos-de-linguagem-llms-como-chatbots-medicos/

Conteúdo educacional para profissionais de saúde, baseado no resumo do artigo citado. Não substitui a leitura do estudo original nem avaliação clínica.