Como os estudos que avaliam chatbots baseados em grandes modelos de linguagem para orientações de saúde estão sendo reportados?
Resposta curta: Uma revisão sistemática de 137 estudos sobre chatbots de grandes modelos de linguagem para orientações de saúde encontrou qualidade de relato heterogênea. A maioria avaliou modelos de código fechado sem informar a versão, quase nenhum descreveu fase de engenharia de prompt e poucos relataram data de consulta ou implicações éticas, regulatórias e de segurança do paciente.
Resposta
A revisão sistemática reuniu estudos primários que avaliaram a acurácia clínica de chatbots generativos ao resumir evidências e oferecer orientações de saúde. O objetivo foi examinar a variabilidade de relato entre esses estudos para embasar o desenvolvimento da ferramenta de padronização de relato denominada Chatbot Assessment Reporting Tool (CHART).
Os achados mostram que os estudos se distribuíram entre cirurgia, medicina e atenção primária, com foco frequente em tratamento, diagnóstico e prevenção de doenças. A maioria avaliou modelos de linguagem de código fechado e inacessíveis, sem informações suficientes para identificar a versão avaliada, e todos careceram de descrição adequada das características do modelo, como temperatura, comprimento de tokens, disponibilidade de ajuste fino e camadas.
O relato sobre a condução dos experimentos também foi limitado: quase todos os estudos não descreveram uma fase de engenharia de prompt, e a data de consulta ao modelo foi informada em menos da metade. Além disso, a maior parte utilizou meios subjetivos para definir o desempenho bem-sucedido do chatbot.
Menos de um terço dos estudos abordou implicações éticas, regulatórias e de segurança do paciente relacionadas à integração clínica desses modelos. Os autores concluem que a qualidade do relato foi heterogênea e que esses resultados podem informar o desenvolvimento de padrões de relato como o CHART.
Para o médico que acompanha a incorporação de inteligência artificial na prática, a mensagem é de cautela na interpretação da literatura disponível: a ausência de detalhes sobre versão do modelo, configuração e método de avaliação dificulta comparar resultados e julgar a aplicabilidade clínica.
O que o estudo mostrou
Revisão sistemática com busca em MEDLINE via Ovid, Embase via Elsevier e Web of Science desde o início até 27 de outubro de 2023, resultando em 7752 artigos. Após triagem por dois revisores, 137 estudos elegíveis foram incluídos e tiveram dados extraídos. Os temas envolveram cirurgia (55 [40,1%]), medicina (51 [37,2%]) e atenção primária (13 [9,5%]). A maioria avaliou modelos de código fechado e inacessíveis (136 [99,3%]), sem descrição suficiente das características do modelo; 136 [99,3%] não descreveram fase de engenharia de prompt; a data de consulta foi relatada em 54 (39,4%); 89 (65,0%) usaram meios subjetivos para definir sucesso.
Limitações
O resumo não informa limitações metodológicas da própria revisão, como risco de viés dos estudos incluídos ou restrições da estratégia de busca. Os dados apresentados descrevem a qualidade do relato dos estudos avaliados, e não o desempenho clínico dos chatbots. O resumo também não detalha os instrumentos usados na extração de dados nem a heterogeneidade entre os modelos avaliados.
Aplicação no consultório
Ao considerar ferramentas de inteligência artificial para apoio à prática ou para orientar fluxos no consultório, o médico deve exigir transparência sobre qual modelo e versão são usados, como os prompts são construídos e como o desempenho foi medido. A heterogeneidade de relato observada sugere que resultados de estudos isolados não devem ser tomados como evidência suficiente para decisões de incorporação. Políticas internas de governança, registro de versões e revisão ética e de segurança do paciente ajudam a gestão do consultório a acompanhar a evolução dessas tecnologias com critério.
Estudo citado
Large Language Models for Chatbot Health Advice Studies: A Systematic Review. JAMA network open, 2025.
Autores: Huo B, Boyle A, Marfo N, Tangamornsuksan W, Steen JP, McKechnie T, Lee Y, Mayol J, Antoniou SA, Thirunavukarasu AJ, Sanger S, Ramji K, Guyatt G.
DOI: 10.1001/jamanetworkopen.2024.57879 · PubMed: PMID 39903463
Perguntas para aprofundar
- Quais características dos grandes modelos de linguagem deveriam ser descritas nos estudos de chatbots para orientações de saúde?
- Como a engenharia de prompt influencia a avaliação de chatbots clínicos?
- Que aspectos éticos e de segurança do paciente devem ser considerados antes de integrar chatbots à prática clínica?
Mais sobre LLMs e chatbots clínicos
- Quais estratégias baseadas em evidências reduzem alucinações em modelos de linguagem na saúde?
- Chatbots baseados em grandes modelos de linguagem são confiáveis para identificar interações medicamentosas na prática clínica?
- Modelos de linguagem de inteligência artificial superam métodos convencionais na análise de textos médicos?
- Chatbots de saúde mental baseados em IA generativa são eficazes para reduzir problemas de saúde mental em comparação com grupos sem chatbot?
- A inteligência artificial generativa é confiável para extrair dados de revisões sistemáticas em psicologia?
Todas as perguntas sobre LLMs e chatbots clínicos · Todos os temas · Versão em markdown