IA em emergência e UTI

Como os estudos validam os escores de alerta precoce e quais métricas de desempenho são usadas?

Resposta

A revisão sistemática teve como objetivo examinar as metodologias e métricas utilizadas em estudos que realizam validação de escores de alerta precoce (EWS). Foram incluídos estudos que validaram pelo menos um EWS e relataram associações entre escores e mortalidade hospitalar, transferências para UTI ou parada cardíaca em adultos. A heterogeneidade metodológica foi o principal achado, impossibilitando meta-análise.

As diferenças identificadas incluíram o conjunto de dados de validação, os desfechos de interesse, a definição de caso, o momento de uso do EWS e os métodos de agregação, além do manejo de valores ausentes. Em relação à definição de caso, entre 48 estudos elegíveis, 34 usaram a definição de episódio do paciente, 12 usaram a definição de conjunto de observações e 2 usaram ambas. Dos que usaram episódio do paciente, 18 validaram o EWS em um único momento, principalmente com a primeira observação registrada.

A revisão também encontrou mais de 10 métricas de desempenho diferentes reportadas entre os estudos. Essa variedade de métricas e metodologias dificulta a interpretação e a comparação do desempenho dos EWS. Os autores concluem que a padronização da metodologia de validação e do relato pode potencialmente resolver esse problema.

Para o médico, os achados reforçam a necessidade de cautela ao comparar escores de alerta precoce, pois as diferenças metodológicas podem explicar conclusões conflitantes em revisões sistemáticas. A aplicação clínica deve considerar o contexto em que o escore foi validado e as métricas utilizadas, evitando generalizações inadequadas.

O que o estudo mostrou

Revisão sistemática de estudos elegíveis do MEDLINE e outras fontes que validaram pelo menos um EWS e relataram associações com mortalidade hospitalar, transferências para UTI ou parada cardíaca em adultos. Foram incluídos 48 estudos. As principais diferenças metodológicas foram: conjunto de dados de validação, desfechos de interesse, definição de caso, momento de uso e agregação do EWS, e manejo de valores ausentes. Trinta e quatro estudos usaram definição de caso por episódio do paciente, 12 por conjunto de observações e 2 usaram ambas. Dezoito estudos validaram o EWS em um único momento, geralmente com a primeira observação. Mais de 10 métricas de desempenho foram reportadas. Meta-análise não foi realizada devido à heterogeneidade.

Limitações

O resumo não informa detalhes sobre a qualidade metodológica dos estudos incluídos, nem sobre possíveis vieses de publicação. A heterogeneidade impediu meta-análise, limitando conclusões quantitativas. O resumo também não especifica o número total de pacientes ou a representatividade das populações estudadas.

Aplicação no consultório

Na prática clínica, ao utilizar escores de alerta precoce, o médico deve estar atento à metodologia de validação e às métricas reportadas, pois diferentes definições de caso e momentos de aplicação podem alterar o desempenho. Para gestão do consultório, ao implementar protocolos baseados em EWS, é importante verificar se o escore foi validado em população semelhante e com desfechos relevantes, evitando comparações diretas entre escores sem considerar a heterogeneidade metodológica.

Estudo citado

Early warning score validation methodologies and performance metrics: a systematic review. BMC medical informatics and decision making, 2020.
Autores: Fang AHS, Lim WT, Balakrishnan T.
DOI: 10.1186/s12911-020-01144-8 · PubMed: PMID 32552702

Perguntas para aprofundar

• Quais são as principais diferenças metodológicas entre os estudos de validação de escores de alerta precoce?
• Como a definição de caso influencia a validação de escores de alerta precoce?
• Por que a heterogeneidade nas métricas de desempenho dificulta a comparação entre escores de alerta precoce?

Mais sobre IA em emergência e UTI

• Intervenções de inteligência artificial e suporte computadorizado à decisão melhoram desfechos clínicos em UTI adulta?
• Modelos de machine learning e deep learning são eficazes para prever delirium em pacientes adultos na UTI?
• Sistemas de alerta precoce com IA para deterioração clínica melhoram desfechos em pacientes hospitalizados?
• Modelos de IA para predição de sepse em adultos hospitalizados têm desempenho confiável para uso clínico rotineiro?
• Modelos preditivos com inteligência artificial em cirurgia endourológica para litíase: o que a revisão sistemática revela sobre sua aplicabilidade clínica?

Todas as perguntas sobre IA em emergência e UTI · Todos os temas · Versão em markdown