Como a usabilidade de agentes conversacionais em saúde é avaliada e o que isso significa para a prática clínica?
Resposta curta: Uma revisão sistemática identificou que os estudos de usabilidade de agentes conversacionais em saúde usam ferramentas variadas (como SUS e UEQ) e questionários individuais, com desenhos heterogêneos, impossibilitando comparações. Recomenda-se desenvolver um procedimento padronizado para avaliação, que pode ser enriquecido com aspectos específicos desses agentes.
Resposta
A revisão sistemática buscou identificar desenhos de estudo, ferramentas e métricas utilizadas para avaliar a usabilidade de agentes conversacionais (CA) em saúde. Foram recuperados 273 resultados de três bases bibliográficas, dos quais 66 foram incluídos para revisão de texto completo. Desses, 34 relataram avaliações de usabilidade.
Os achados mostram uma ampla variedade de ferramentas, como SUS e UEQ, além de questionários individuais. Os estudos empregam cenários simulados, mas também avaliam o uso no mundo real. Configurações exploratórias são raramente relatadas.
Devido às diferenças nos desenhos de estudo e nas ferramentas de avaliação, não é possível comparar a usabilidade entre os diferentes agentes conversacionais. Os autores recomendam o desenvolvimento de um procedimento padronizado que possa ser sempre aplicado e enriquecido com avaliações necessárias para capturar características específicas dos CA.
Para o médico, esses resultados indicam que, ao considerar a implementação de agentes conversacionais em sua prática ou consultório, é importante estar atento à falta de padronização nas avaliações de usabilidade. Isso significa que a escolha de um agente deve ser feita com cautela, buscando evidências de avaliações robustas e adequadas ao contexto clínico.
Além disso, a revisão destaca a necessidade de se estabelecer critérios claros para avaliar a usabilidade dessas ferramentas, o que pode impactar diretamente a adoção e o sucesso de iniciativas de saúde digital. O resumo não fornece detalhes sobre a qualidade metodológica dos estudos incluídos, nem sobre limitações específicas das ferramentas avaliadas.
O que o estudo mostrou
Trata-se de uma revisão sistemática da literatura que buscou identificar desenhos de estudo, ferramentas e métricas para avaliação de usabilidade de agentes conversacionais em saúde. Foram recuperados 273 resultados de três bases (PubMed, Scopus, IEEE Xplore), dos quais 66 foram incluídos para revisão de texto completo e 34 relataram avaliações de usabilidade. Observou-se uso de ferramentas variadas (SUS, UEQ) e questionários individuais, com desenhos heterogêneos, impossibilitando comparações entre os agentes.
Limitações
O resumo não informa detalhes sobre a qualidade metodológica dos estudos incluídos, nem sobre possíveis vieses de publicação. Também não são descritas limitações específicas das ferramentas de avaliação ou dos desenhos de estudo. A heterogeneidade dos estudos impede comparações diretas, e o resumo não fornece informações sobre a amostra de pacientes ou profissionais envolvidos nas avaliações.
Aplicação no consultório
Para a prática clínica e a gestão do consultório, os achados reforçam a necessidade de cautela ao adotar agentes conversacionais em saúde, dada a falta de padronização nas avaliações de usabilidade. Médicos e gestores devem buscar ferramentas que tenham sido avaliadas com métodos robustos e adequados ao contexto, e podem considerar a implementação de avaliações locais de usabilidade antes da adoção em larga escala. Além disso, a padronização proposta pelos autores pode orientar a seleção e o monitoramento dessas tecnologias.
Estudo citado
Usability Assessment of Conversational Agents in Healthcare: A Literature Review. Studies in health technology and informatics, 2022.
Autores: Denecke K, May R.
DOI: 10.3233/SHTI220431 · PubMed: PMID 35612050
Perguntas para aprofundar
- Quais ferramentas de avaliação de usabilidade são mais adequadas para agentes conversacionais em saúde?
- Como a falta de padronização na avaliação de usabilidade impacta a adoção de agentes conversacionais na prática clínica?
- Que aspectos específicos dos agentes conversacionais em saúde devem ser incluídos em um procedimento padronizado de avaliação de usabilidade?
Mais sobre LLMs e chatbots clínicos
- Agentes conversacionais de inteligência artificial são eficazes e usáveis no cuidado em saúde?
- Agentes conversacionais são eficazes e aceitáveis para cessação do tabagismo?
- Agentes conversacionais são eficazes e seguros para promover atividade física na prática clínica?
- O que a literatura científica e as patentes revelam sobre agentes conversacionais inteligentes no autogerenciamento de pacientes?
- Agentes conversacionais com linguagem natural livre são eficazes e seguros para aplicações em saúde?
Todas as perguntas sobre LLMs e chatbots clínicos · Todos os temas · Versão em markdown