# Como a usabilidade de agentes conversacionais em saúde é avaliada e o que isso significa para a prática clínica?

> Uma revisão sistemática identificou que os estudos de usabilidade de agentes conversacionais em saúde usam ferramentas variadas (como SUS e UEQ) e questionários individuais, com desenhos heterogêneos, impossibilitando comparações. Recomenda-se desenvolver um procedimento padronizado para avaliação, que pode ser enriquecido com aspectos específicos desses agentes.

Estudo citado: Denecke K, May R. Usability Assessment of Conversational Agents in Healthcare: A Literature Review. Studies in health technology and informatics. 2022. DOI: https://doi.org/10.3233/SHTI220431. PubMed: https://pubmed.ncbi.nlm.nih.gov/35612050/

## Resposta

A revisão sistemática buscou identificar desenhos de estudo, ferramentas e métricas utilizadas para avaliar a usabilidade de agentes conversacionais (CA) em saúde. Foram recuperados 273 resultados de três bases bibliográficas, dos quais 66 foram incluídos para revisão de texto completo. Desses, 34 relataram avaliações de usabilidade.

Os achados mostram uma ampla variedade de ferramentas, como SUS e UEQ, além de questionários individuais. Os estudos empregam cenários simulados, mas também avaliam o uso no mundo real. Configurações exploratórias são raramente relatadas.

Devido às diferenças nos desenhos de estudo e nas ferramentas de avaliação, não é possível comparar a usabilidade entre os diferentes agentes conversacionais. Os autores recomendam o desenvolvimento de um procedimento padronizado que possa ser sempre aplicado e enriquecido com avaliações necessárias para capturar características específicas dos CA.

Para o médico, esses resultados indicam que, ao considerar a implementação de agentes conversacionais em sua prática ou consultório, é importante estar atento à falta de padronização nas avaliações de usabilidade. Isso significa que a escolha de um agente deve ser feita com cautela, buscando evidências de avaliações robustas e adequadas ao contexto clínico.

Além disso, a revisão destaca a necessidade de se estabelecer critérios claros para avaliar a usabilidade dessas ferramentas, o que pode impactar diretamente a adoção e o sucesso de iniciativas de saúde digital. O resumo não fornece detalhes sobre a qualidade metodológica dos estudos incluídos, nem sobre limitações específicas das ferramentas avaliadas.

## O que o estudo mostrou

Trata-se de uma revisão sistemática da literatura que buscou identificar desenhos de estudo, ferramentas e métricas para avaliação de usabilidade de agentes conversacionais em saúde. Foram recuperados 273 resultados de três bases (PubMed, Scopus, IEEE Xplore), dos quais 66 foram incluídos para revisão de texto completo e 34 relataram avaliações de usabilidade. Observou-se uso de ferramentas variadas (SUS, UEQ) e questionários individuais, com desenhos heterogêneos, impossibilitando comparações entre os agentes.

## Limitações

O resumo não informa detalhes sobre a qualidade metodológica dos estudos incluídos, nem sobre possíveis vieses de publicação. Também não são descritas limitações específicas das ferramentas de avaliação ou dos desenhos de estudo. A heterogeneidade dos estudos impede comparações diretas, e o resumo não fornece informações sobre a amostra de pacientes ou profissionais envolvidos nas avaliações.

## Aplicação no consultório

Para a prática clínica e a gestão do consultório, os achados reforçam a necessidade de cautela ao adotar agentes conversacionais em saúde, dada a falta de padronização nas avaliações de usabilidade. Médicos e gestores devem buscar ferramentas que tenham sido avaliadas com métodos robustos e adequados ao contexto, e podem considerar a implementação de avaliações locais de usabilidade antes da adoção em larga escala. Além disso, a padronização proposta pelos autores pode orientar a seleção e o monitoramento dessas tecnologias.

## Perguntas para aprofundar

- Quais ferramentas de avaliação de usabilidade são mais adequadas para agentes conversacionais em saúde?
- Como a falta de padronização na avaliação de usabilidade impacta a adoção de agentes conversacionais na prática clínica?
- Que aspectos específicos dos agentes conversacionais em saúde devem ser incluídos em um procedimento padronizado de avaliação de usabilidade?

Tema: LLMs e chatbots clínicos. Página: https://alphadoctor.com.br/ciencia/ia-llm-chatbots/como-a-usabilidade-de-agentes-conversacionais-em-saude-e-avaliada-e-o-que-isso/

Conteúdo educacional para profissionais de saúde, baseado no resumo do artigo citado. Não substitui a leitura do estudo original nem avaliação clínica.