Quais são os principais desafios para avaliar a acurácia de sistemas digitais de triagem com componentes de IA operados por pacientes?
Resposta curta: Uma revisão sistemática identificou desafios epistemológicos, ontológicos e metodológicos. Alguns podem ser corrigidos com ajustes metodológicos, como os relacionados ao uso de vinhetas, enquanto outros são intrínsecos e exigem que os leitores interpretem os estudos considerando essas limitações. Estudos futuros devem considerar tais desafios para preencher lacunas de conhecimento.
Resposta
A revisão sistemática teve como objetivo identificar os principais desafios na determinação da acurácia de sistemas digitais de triagem operados por pacientes e que contenham componentes de inteligência artificial. Para isso, os autores realizaram uma busca em bases de dados e incluíram artigos que avaliavam a acurácia desses sistemas em populações de atenção primária.
Foram incluídos 8 artigos, sendo 6 primários e 2 revisões. A partir da análise temática, as limitações foram agrupadas em três categorias: epistemológicas, ontológicas e metodológicas. Essas limitações variam quanto à intratabilidade e à possibilidade de serem abordadas por escolhas metodológicas.
Algumas limitações metodológicas, como as relacionadas ao teste de sistemas de triagem usando vinhetas, podem ser corrigidas por meio de ajustes no desenho do estudo. Já as limitações epistemológicas e ontológicas são intrínsecas à área e exigem que os leitores avaliem os estudos levando-as em conta.
Os autores concluem que a literatura revisada destaca limitações e desafios recorrentes. Alguns podem ser resolvidos com metodologia, enquanto outros envolvem trade-offs inevitáveis. Estudos futuros devem considerar essas limitações para abordar melhor as lacunas de conhecimento existentes.
O que o estudo mostrou
Revisão sistemática conduzida em outubro de 2021, seguindo as diretrizes PRISMA, com buscas no PubMed, Scopus e Web of Science. Foram incluídos artigos que avaliavam a acurácia de sistemas digitais de triagem operados por pacientes, com componente de IA, capazes de triar uma população geral de atenção primária. A busca gerou 76 artigos e, após exclusão, 8 foram incluídos (6 primários e 2 revisões). As limitações foram sintetizadas em três grupos: epistemológicas, ontológicas e metodológicas. O risco de viés não foi analisado.
Limitações
O resumo não informa detalhes sobre a qualidade metodológica dos artigos incluídos, nem sobre o risco de viés (que não foi analisado). Também não são fornecidas informações sobre a heterogeneidade dos estudos ou sobre a população específica. Além disso, a revisão se concentrou nas limitações dos artigos, não nos resultados de acurácia, o que limita conclusões sobre a eficácia dos sistemas.
Aplicação no consultório
Médicos que utilizam ou consideram implementar sistemas digitais de triagem com IA na atenção primária devem estar cientes das limitações na avaliação de acurácia. É importante interpretar criticamente os estudos, considerando as limitações epistemológicas e ontológicas, e não apenas os resultados relatados. Na gestão do consultório, ao adotar tais ferramentas, deve-se buscar evidências robustas e estar atento às possíveis fontes de erro, ajustando fluxos de trabalho e expectativas.
Estudo citado
Challenges in evaluating the accuracy of AI-containing digital triage systems: A systematic review. PloS one, 2022.
Autores: Ilicki J.
DOI: 10.1371/journal.pone.0279636 · PubMed: PMID 36574438
Perguntas para aprofundar
- Como as limitações metodológicas em estudos de acurácia de sistemas de triagem com IA podem ser mitigadas?
- Quais são as implicações das limitações epistemológicas e ontológicas para a interpretação de estudos sobre triagem digital?
- O que a revisão sistemática recomenda para pesquisas futuras sobre acurácia de sistemas de triagem com IA?
Mais sobre IA na atenção primária
- A inteligência artificial é eficaz no diagnóstico não invasivo de câncer de pele e qual o seu impacto potencial?
- Quais são as perspectivas dos stakeholders sobre a adoção de inteligência artificial na atenção primária?
- Modelos de predição diagnóstica baseados em IA e registros eletrônicos de saúde na atenção primária estão prontos para uso clínico?
- Quais são as percepções, barreiras e facilitadores para o uso de inteligência artificial na atenção primária, segundo médicos e pacientes?
- Qual é o conhecimento, a atitude e a prática dos médicos da atenção primária em relação às tecnologias digitais de saúde assistidas por inteligência artificial?
Todas as perguntas sobre IA na atenção primária · Todos os temas · Versão em markdown