Agentes conversacionais com linguagem natural livre são eficazes e seguros para aplicações em saúde?
Resposta curta: Uma revisão sistemática identificou 17 estudos sobre agentes conversacionais em saúde, a maioria quasi-experimental. Apenas um ensaio clínico randomizado mostrou efeito significativo na redução de sintomas depressivos (d = 0,44; p = .04). A segurança do paciente raramente foi avaliada, e os autores recomendam estudos mais robustos e relato padronizado.
Resposta
A revisão sistemática teve como objetivo caracterizar agentes conversacionais com entrada de linguagem natural irrestrita usados em saúde, incluindo suas aplicações e medidas de avaliação. Foram buscadas cinco bases de dados e incluídos estudos que envolvessem consumidores ou profissionais de saúde e que relatassem medidas de avaliação resultantes da interação do usuário com o sistema.
Dos 1513 registros recuperados, 17 artigos (14 agentes diferentes) preencheram os critérios. As estratégias de gerenciamento de diálogo predominantes foram baseadas em estados finitos e em quadros (6 e 7 agentes, respectivamente); apenas um sistema utilizou estratégia baseada em agente. Quanto ao desenho, dois estudos eram ensaios clínicos randomizados, um era transversal e os demais quasi-experimentais.
Metade dos agentes apoiava consumidores em tarefas de saúde, como autocuidado. O único ensaio clínico randomizado que avaliou eficácia encontrou efeito significativo na redução de sintomas depressivos (tamanho de efeito d = 0,44; p = .04). A segurança do paciente foi raramente avaliada nos estudos incluídos.
Os autores concluem que o uso desses agentes em saúde é um campo emergente, com poucos estudos publicados, majoritariamente quasi-experimentais, e que raramente avaliaram eficácia ou segurança. Recomenda-se que pesquisas futuras adotem desenhos experimentais mais robustos e relato padronizado.
Para o médico, os achados indicam que a evidência disponível é limitada e heterogênea, não permitindo afirmar eficácia ou segurança de agentes conversacionais em contextos clínicos diversos. A aplicação na prática deve considerar a necessidade de avaliação local e de estudos mais consistentes antes de incorporar essas ferramentas na rotina.
O que o estudo mostrou
Revisão sistemática que recuperou 1513 citações e incluiu 17 artigos (14 agentes conversacionais diferentes). A maioria dos estudos era quasi-experimental; dois eram ensaios clínicos randomizados e um transversal. Estratégias de diálogo finitas e baseadas em quadros predominaram. Metade dos agentes apoiava consumidores em tarefas de autocuidado. O único ensaio clínico randomizado que avaliou eficácia mostrou redução significativa de sintomas depressivos (d = 0,44; p = .04). A segurança do paciente foi raramente avaliada.
Limitações
O resumo não informa detalhes sobre a qualidade metodológica dos estudos incluídos, nem sobre vieses. A maioria dos estudos era quasi-experimental, com poucos ensaios randomizados, o que limita conclusões sobre eficácia. A segurança do paciente foi raramente avaliada. O resumo também não descreve características das populações ou dos agentes, nem o período de acompanhamento.
Aplicação no consultório
Os achados sugerem cautela na incorporação de agentes conversacionais na prática clínica, dada a evidência limitada e a ausência de avaliação sistemática de segurança. Gestores de consultório devem considerar a necessidade de validação local e de monitoramento de desfechos antes de adotar essas ferramentas. A revisão reforça a importância de buscar estudos com desenhos robustos e relato padronizado para embasar decisões de implementação.
Estudo citado
Conversational agents in healthcare: a systematic review. Journal of the American Medical Informatics Association : JAMIA, 2018.
Autores: Laranjo L, Dunn AG, Tong HL, Kocaballi AB, Chen J, Bashir R, Surian D, Gallego B, Magrabi F, Lau AYS, Coiera E.
DOI: 10.1093/jamia/ocy072 · PubMed: PMID 30010941
Perguntas para aprofundar
- Quais são os critérios de avaliação de segurança para agentes conversacionais em saúde?
- Como a estratégia de gerenciamento de diálogo influencia os desfechos clínicos?
- Quais desenhos de estudo são mais adequados para avaliar agentes conversacionais em saúde?
Mais sobre LLMs e chatbots clínicos
- Agentes conversacionais de inteligência artificial são eficazes e usáveis no cuidado em saúde?
- Agentes conversacionais são eficazes e aceitáveis para cessação do tabagismo?
- Agentes conversacionais são eficazes e seguros para promover atividade física na prática clínica?
- Como a usabilidade de agentes conversacionais em saúde é avaliada e o que isso significa para a prática clínica?
- Agentes conversacionais com inteligência artificial são aceitos e eficazes no autocuidado de doenças crônicas?
Todas as perguntas sobre LLMs e chatbots clínicos · Todos os temas · Versão em markdown