# Quais são os principais desafios para avaliar a acurácia de sistemas digitais de triagem com componentes de IA operados por pacientes?

> Uma revisão sistemática identificou desafios epistemológicos, ontológicos e metodológicos. Alguns podem ser corrigidos com ajustes metodológicos, como os relacionados ao uso de vinhetas, enquanto outros são intrínsecos e exigem que os leitores interpretem os estudos considerando essas limitações. Estudos futuros devem considerar tais desafios para preencher lacunas de conhecimento.

Estudo citado: Ilicki J. Challenges in evaluating the accuracy of AI-containing digital triage systems: A systematic review. PloS one. 2022. DOI: https://doi.org/10.1371/journal.pone.0279636. PubMed: https://pubmed.ncbi.nlm.nih.gov/36574438/

## Resposta

A revisão sistemática teve como objetivo identificar os principais desafios na determinação da acurácia de sistemas digitais de triagem operados por pacientes e que contenham componentes de inteligência artificial. Para isso, os autores realizaram uma busca em bases de dados e incluíram artigos que avaliavam a acurácia desses sistemas em populações de atenção primária.

Foram incluídos 8 artigos, sendo 6 primários e 2 revisões. A partir da análise temática, as limitações foram agrupadas em três categorias: epistemológicas, ontológicas e metodológicas. Essas limitações variam quanto à intratabilidade e à possibilidade de serem abordadas por escolhas metodológicas.

Algumas limitações metodológicas, como as relacionadas ao teste de sistemas de triagem usando vinhetas, podem ser corrigidas por meio de ajustes no desenho do estudo. Já as limitações epistemológicas e ontológicas são intrínsecas à área e exigem que os leitores avaliem os estudos levando-as em conta.

Os autores concluem que a literatura revisada destaca limitações e desafios recorrentes. Alguns podem ser resolvidos com metodologia, enquanto outros envolvem trade-offs inevitáveis. Estudos futuros devem considerar essas limitações para abordar melhor as lacunas de conhecimento existentes.

## O que o estudo mostrou

Revisão sistemática conduzida em outubro de 2021, seguindo as diretrizes PRISMA, com buscas no PubMed, Scopus e Web of Science. Foram incluídos artigos que avaliavam a acurácia de sistemas digitais de triagem operados por pacientes, com componente de IA, capazes de triar uma população geral de atenção primária. A busca gerou 76 artigos e, após exclusão, 8 foram incluídos (6 primários e 2 revisões). As limitações foram sintetizadas em três grupos: epistemológicas, ontológicas e metodológicas. O risco de viés não foi analisado.

## Limitações

O resumo não informa detalhes sobre a qualidade metodológica dos artigos incluídos, nem sobre o risco de viés (que não foi analisado). Também não são fornecidas informações sobre a heterogeneidade dos estudos ou sobre a população específica. Além disso, a revisão se concentrou nas limitações dos artigos, não nos resultados de acurácia, o que limita conclusões sobre a eficácia dos sistemas.

## Aplicação no consultório

Médicos que utilizam ou consideram implementar sistemas digitais de triagem com IA na atenção primária devem estar cientes das limitações na avaliação de acurácia. É importante interpretar criticamente os estudos, considerando as limitações epistemológicas e ontológicas, e não apenas os resultados relatados. Na gestão do consultório, ao adotar tais ferramentas, deve-se buscar evidências robustas e estar atento às possíveis fontes de erro, ajustando fluxos de trabalho e expectativas.

## Perguntas para aprofundar

- Como as limitações metodológicas em estudos de acurácia de sistemas de triagem com IA podem ser mitigadas?
- Quais são as implicações das limitações epistemológicas e ontológicas para a interpretação de estudos sobre triagem digital?
- O que a revisão sistemática recomenda para pesquisas futuras sobre acurácia de sistemas de triagem com IA?

Tema: IA na atenção primária. Página: https://alphadoctor.com.br/ciencia/ia-atencao-primaria/quais-sao-os-principais-desafios-para-avaliar-a-acuracia-de-sistemas-digitais/

Conteúdo educacional para profissionais de saúde, baseado no resumo do artigo citado. Não substitui a leitura do estudo original nem avaliação clínica.