# Modelos prognósticos de mortalidade intra-hospitalar em UTI baseados em representações neurais de texto não estruturado são confiáveis para aplicação clínica?

> A revisão sistemática identificou estudos que usaram embeddings de notas clínicas para prever mortalidade intra-hospitalar em UTI, todos com dados do MIMIC. A discriminação variou de 0,75 a 0,96, mas a calibração foi raramente reportada. Nenhum modelo foi validado externamente e todos apresentaram alto risco de viés, limitando a aplicabilidade clínica.

Estudo citado: Vagliano I, Dormosh N, Rios M, Luik TT, Buonocore TM, Elbers PWG et al.. Prognostic models of in-hospital mortality of intensive care patients using neural representation of unstructured text: A systematic review and critical appraisal. Journal of biomedical informatics. 2023. DOI: https://doi.org/10.1016/j.jbi.2023.104504. PubMed: https://pubmed.ncbi.nlm.nih.gov/37742782/

## Resposta

A revisão sistemática avaliou modelos prognósticos de mortalidade intra-hospitalar em pacientes de UTI que utilizam representações neurais (embeddings) de notas clínicas. Foram incluídos dezoito estudos, todos baseados no conjunto de dados público MIMIC. A maioria utilizou embeddings de palavras independentes de contexto, e a discriminação dos modelos foi reportada em todos os estudos, com AUROC entre 0,75 e 0,96. No entanto, medidas de calibração foram escassas.

Sete estudos combinaram variáveis clínicas estruturadas com notas clínicas, e a discriminação melhorou quando as notas foram adicionadas às variáveis. Apesar disso, nenhum modelo foi validado externamente, e a validação interna frequentemente utilizou apenas uma divisão simples entre treino e teste. A avaliação crítica demonstrou alto risco de viés em todos os estudos e preocupações quanto à aplicabilidade na prática clínica.

Os autores recomendam que futuros estudos reportem tanto a discriminação quanto a calibração dos modelos, utilizem fontes de dados adicionais e adotem estratégias de avaliação mais robustas, incluindo validação prospectiva e externa. Além disso, o compartilhamento de dados e código é encorajado para melhorar a reprodutibilidade dos estudos.

Para o médico brasileiro, os achados indicam que, embora as notas clínicas possam agregar valor preditivo, os modelos disponíveis ainda não estão prontos para uso clínico rotineiro devido às limitações metodológicas e à falta de validação externa. A aplicação na gestão do consultório ou em unidades de terapia intensiva deve aguardar estudos mais robustos e validações em diferentes contextos.

A revisão também destaca a importância de se avaliar criticamente a qualidade dos modelos de aprendizado de máquina antes de incorporá-los à prática. A ausência de calibração e de validação externa são pontos críticos que podem comprometer a confiabilidade das previsões em populações distintas daquelas usadas no desenvolvimento.

## O que o estudo mostrou

Revisão sistemática que incluiu dezoito estudos de um total de 2.825, todos utilizando o conjunto de dados MIMIC. Os modelos empregaram embeddings de notas clínicas para prever mortalidade intra-hospitalar em UTI. A discriminação foi reportada em todos os estudos (AUROC 0,75-0,96), mas a calibração foi raramente avaliada. Sete estudos combinaram variáveis clínicas estruturadas com notas, com melhora na discriminação. Nenhum modelo foi validado externamente e todos apresentaram alto risco de viés.

## Limitações

O resumo não informa detalhes sobre as características das populações dos estudos ou sobre a qualidade individual dos mesmos. Todos os estudos utilizaram um único conjunto de dados público (MIMIC), o que limita a generalização. A ausência de validação externa e de medidas de calibração compromete a aplicabilidade clínica. O resumo também não fornece informações sobre a heterogeneidade entre os estudos ou sobre possíveis vieses de publicação.

## Aplicação no consultório

Os achados sugerem que modelos baseados em embeddings de notas clínicas ainda não estão prontos para uso clínico rotineiro. Para a gestão do consultório ou de unidades de terapia intensiva, é prudente aguardar estudos com validação externa e calibração adequada antes de incorporar essas ferramentas na tomada de decisão. A revisão reforça a necessidade de avaliação crítica da qualidade metodológica e da reprodutibilidade dos modelos antes de sua implementação.

## Perguntas para aprofundar

- Quais são as limitações metodológicas dos modelos prognósticos baseados em embeddings de notas clínicas para mortalidade em UTI?
- Como a adição de notas clínicas melhora a discriminação de modelos prognósticos em relação a variáveis clínicas estruturadas?
- Quais recomendações os autores fazem para melhorar a validade e a aplicabilidade clínica desses modelos?

Tema: Escriba ambiental e documentação clínica com IA. Página: https://alphadoctor.com.br/ciencia/ia-escriba-documentacao/modelos-prognosticos-de-mortalidade-intra-hospitalar-em-uti-baseados-em/

Conteúdo educacional para profissionais de saúde, baseado no resumo do artigo citado. Não substitui a leitura do estudo original nem avaliação clínica.