Modelos prognósticos de mortalidade intra-hospitalar em UTI baseados em representações neurais de texto não estruturado são confiáveis para aplicação clínica?
Resposta curta: A revisão sistemática identificou estudos que usaram embeddings de notas clínicas para prever mortalidade intra-hospitalar em UTI, todos com dados do MIMIC. A discriminação variou de 0,75 a 0,96, mas a calibração foi raramente reportada. Nenhum modelo foi validado externamente e todos apresentaram alto risco de viés, limitando a aplicabilidade clínica.
Resposta
A revisão sistemática avaliou modelos prognósticos de mortalidade intra-hospitalar em pacientes de UTI que utilizam representações neurais (embeddings) de notas clínicas. Foram incluídos dezoito estudos, todos baseados no conjunto de dados público MIMIC. A maioria utilizou embeddings de palavras independentes de contexto, e a discriminação dos modelos foi reportada em todos os estudos, com AUROC entre 0,75 e 0,96. No entanto, medidas de calibração foram escassas.
Sete estudos combinaram variáveis clínicas estruturadas com notas clínicas, e a discriminação melhorou quando as notas foram adicionadas às variáveis. Apesar disso, nenhum modelo foi validado externamente, e a validação interna frequentemente utilizou apenas uma divisão simples entre treino e teste. A avaliação crítica demonstrou alto risco de viés em todos os estudos e preocupações quanto à aplicabilidade na prática clínica.
Os autores recomendam que futuros estudos reportem tanto a discriminação quanto a calibração dos modelos, utilizem fontes de dados adicionais e adotem estratégias de avaliação mais robustas, incluindo validação prospectiva e externa. Além disso, o compartilhamento de dados e código é encorajado para melhorar a reprodutibilidade dos estudos.
Para o médico brasileiro, os achados indicam que, embora as notas clínicas possam agregar valor preditivo, os modelos disponíveis ainda não estão prontos para uso clínico rotineiro devido às limitações metodológicas e à falta de validação externa. A aplicação na gestão do consultório ou em unidades de terapia intensiva deve aguardar estudos mais robustos e validações em diferentes contextos.
A revisão também destaca a importância de se avaliar criticamente a qualidade dos modelos de aprendizado de máquina antes de incorporá-los à prática. A ausência de calibração e de validação externa são pontos críticos que podem comprometer a confiabilidade das previsões em populações distintas daquelas usadas no desenvolvimento.
O que o estudo mostrou
Revisão sistemática que incluiu dezoito estudos de um total de 2.825, todos utilizando o conjunto de dados MIMIC. Os modelos empregaram embeddings de notas clínicas para prever mortalidade intra-hospitalar em UTI. A discriminação foi reportada em todos os estudos (AUROC 0,75-0,96), mas a calibração foi raramente avaliada. Sete estudos combinaram variáveis clínicas estruturadas com notas, com melhora na discriminação. Nenhum modelo foi validado externamente e todos apresentaram alto risco de viés.
Limitações
O resumo não informa detalhes sobre as características das populações dos estudos ou sobre a qualidade individual dos mesmos. Todos os estudos utilizaram um único conjunto de dados público (MIMIC), o que limita a generalização. A ausência de validação externa e de medidas de calibração compromete a aplicabilidade clínica. O resumo também não fornece informações sobre a heterogeneidade entre os estudos ou sobre possíveis vieses de publicação.
Aplicação no consultório
Os achados sugerem que modelos baseados em embeddings de notas clínicas ainda não estão prontos para uso clínico rotineiro. Para a gestão do consultório ou de unidades de terapia intensiva, é prudente aguardar estudos com validação externa e calibração adequada antes de incorporar essas ferramentas na tomada de decisão. A revisão reforça a necessidade de avaliação crítica da qualidade metodológica e da reprodutibilidade dos modelos antes de sua implementação.
Estudo citado
Prognostic models of in-hospital mortality of intensive care patients using neural representation of unstructured text: A systematic review and critical appraisal. Journal of biomedical informatics, 2023.
Autores: Vagliano I, Dormosh N, Rios M, Luik TT, Buonocore TM, Elbers PWG, Dongelmans DA, Schut MC, Abu-Hanna A.
DOI: 10.1016/j.jbi.2023.104504 · PubMed: PMID 37742782
Perguntas para aprofundar
- Quais são as limitações metodológicas dos modelos prognósticos baseados em embeddings de notas clínicas para mortalidade em UTI?
- Como a adição de notas clínicas melhora a discriminação de modelos prognósticos em relação a variáveis clínicas estruturadas?
- Quais recomendações os autores fazem para melhorar a validade e a aplicabilidade clínica desses modelos?
Mais sobre Escriba ambiental e documentação clínica com IA
- Modelos prognósticos para prever readmissão não planejada na UTI: como os modelos de aprendizado de máquina se comparam aos sistemas de pontuação?
- Modelos de machine learning para diagnóstico e prognóstico de infecção em cuidados pós-agudos já superam os modelos tradicionais?
- Modelos de inteligência artificial baseados em prontuário eletrônico são eficazes para detecção precoce de sepse em pacientes hospitalizados?
- O uso de aprendizado de máquina para prever internações hospitalares por todas as causas em adultos é confiável para aplicação clínica?
- Como o processamento de linguagem natural pode ser usado para analisar dados não estruturados de desfechos relatados por pacientes oncológicos em prontuários eletrônicos?
Todas as perguntas sobre Escriba ambiental e documentação clínica com IA · Todos os temas · Versão em markdown