Qual é a acurácia dos grandes modelos de linguagem (LLMs) como chatbots médicos em gastroenterologia e hepatologia, e quais os riscos para a segurança do paciente?
Resposta curta: Uma revisão sistemática mostrou acurácia baixa e variável dos LLMs em gastroenterologia e hepatologia: ChatGPT-3.5 acertou entre 6,4% e 45,5% e ChatGPT-4 entre 40% e 91,4%. A falta de padronização metodológica compromete a generalização, e respostas incorretas podem causar eventos adversos à segurança do paciente.
Resposta
A revisão sistemática avaliou a acurácia e as implicações de segurança do uso de grandes modelos de linguagem (LLMs) como o ChatGPT para responder a perguntas clínicas em gastroenterologia e hepatologia. Foram incluídos 18 artigos na análise final, de um total de 33 textos completos identificados. A acurácia foi definida como a porcentagem de respostas inteiramente corretas.
Os resultados mostraram grande variação na acurácia conforme a versão do modelo. Para o ChatGPT-3.5, a acurácia variou de 6,4% a 45,5%, enquanto para o ChatGPT-4 ficou entre 40% e 91,4%. Essa diferença sugere que versões mais recentes podem ter melhor desempenho, mas os números ainda indicam limitações importantes para uso clínico.
Além disso, a ausência de metodologia padronizada e de métricas de relato para estudos com LLMs coloca todos os estudos incluídos em alto risco de viés, impossibilitando a generalização dos resultados de estudos individuais. Isso significa que as estimativas de acurácia podem não ser confiáveis ou aplicáveis a diferentes contextos.
Os autores concluem que os LLMs de uso geral atualmente têm acurácia inaceitavelmente baixa em tarefas clínicas de gastroenterologia e hepatologia. Isso pode levar a eventos adversos à segurança do paciente por meio de informações incorretas ou recomendações de triagem inadequadas, que podem sobrecarregar os sistemas de saúde ou atrasar o cuidado necessário.
Portanto, embora os LLMs representem uma ferramenta promissora, seu uso clínico nessas especialidades ainda não é seguro sem supervisão e validação adicionais. Médicos devem estar cientes dessas limitações ao considerar incorporar essas ferramentas na prática ou no consultório.
O que o estudo mostrou
Trata-se de uma revisão sistemática que buscou artigos em múltiplas bases de dados até janeiro de 2024. De 1671 relatos triados, 33 textos completos foram identificados e 18 incluídos na análise final. A acurácia das respostas variou conforme a versão do modelo: ChatGPT-3.5 apresentou acurácia entre 6,4% e 45,5%, e ChatGPT-4 entre 40% e 91,4%. A falta de padronização metodológica foi observada em todos os estudos, resultando em alto risco de viés.
Limitações
O resumo não informa detalhes sobre as características dos estudos incluídos, como tipos de perguntas clínicas avaliadas, especialidades específicas dentro da gastroenterologia e hepatologia, ou critérios exatos de acurácia. A ausência de metodologia padronizada e métricas de relato impede a generalização dos resultados. Além disso, o resumo não fornece informações sobre a qualidade individual dos estudos ou possíveis fontes de heterogeneidade.
Aplicação no consultório
Os achados indicam que os LLMs atuais não são confiáveis para responder a perguntas clínicas em gastroenterologia e hepatologia, com risco de informações incorretas que podem comprometer a segurança do paciente. Na prática clínica, médicos devem evitar usar essas ferramentas como fonte única de decisão ou para triagem de pacientes sem validação cuidadosa. No consultório, é importante educar a equipe sobre essas limitações e não incorporar chatbots de uso geral em fluxos de atendimento sem supervisão médica e evidências robustas de acurácia.
Estudo citado
Systematic review: The use of large language models as medical chatbots in digestive diseases. Alimentary pharmacology & therapeutics, 2024.
Autores: Giuffrè M, Kresevic S, You K, Dupont J, Huebner J, Grimshaw AA, Shung DL.
DOI: 10.1111/apt.18058 · PubMed: PMID 38798194
Perguntas para aprofundar
- Qual é a acurácia do ChatGPT-4 em comparação ao ChatGPT-3.5 para questões de gastroenterologia e hepatologia?
- Quais são os riscos de segurança do paciente associados ao uso de LLMs como chatbots médicos?
- Como a falta de padronização metodológica em estudos com LLMs afeta a interpretação dos resultados?
Mais sobre LLMs e chatbots clínicos
- Modelos de linguagem de grande porte (LLMs) são acurados para apoio à decisão clínica em otorrinolaringologia?
- Quais estratégias baseadas em evidências reduzem alucinações em modelos de linguagem na saúde?
- A inteligência artificial generativa é confiável para extrair dados de revisões sistemáticas em psicologia?
- Qual é a lacuna entre conhecimento e prática clínica em modelos de linguagem de grande escala (LLMs) na medicina?
- Chatbots baseados em grandes modelos de linguagem são confiáveis para identificar interações medicamentosas na prática clínica?
Todas as perguntas sobre LLMs e chatbots clínicos · Todos os temas · Versão em markdown