Como o uso de texto não estruturado em modelos prognósticos clínicos pode melhorar a predição em comparação com dados estruturados?
Resposta curta: Uma revisão sistemática com 126 estudos e 145 problemas de predição mostrou que combinar texto não estruturado com dados estruturados melhora o desempenho dos modelos prognósticos em relação ao uso isolado de qualquer uma das fontes. A maioria dos estudos utilizou aprendizado de máquina tradicional e profundo, mas poucos realizaram validação externa ou disponibilizaram os modelos publicamente.
Resposta
A revisão sistemática avaliou como informações de texto não estruturado são utilizadas no desenvolvimento e validação de modelos prognósticos clínicos. Foram incluídos 126 estudos que descreveram 145 problemas de predição, publicados entre janeiro de 2005 e março de 2021. A meta-análise de desempenho indicou que a combinação de texto e dados estruturados superou o uso isolado de texto ou de dados estruturados.
Os estudos empregaram diversas representações numéricas de texto, tanto densas quanto esparsas, combinadas com métodos de aprendizado profundo e de aprendizado de máquina tradicional. A heterogeneidade metodológica foi ampla, refletindo a diversidade de abordagens para extrair informações de texto clínico.
Apesar do benefício observado, a validação externa, a disponibilidade pública dos modelos e a atenção à explicabilidade foram limitadas nos estudos incluídos. Esses aspectos são apontados como prioridades para pesquisas futuras, visando modelos mais robustos e confiáveis para a prática clínica.
Os autores concluem que o texto não estruturado é uma fonte valiosa de informação para o desenvolvimento de modelos prognósticos e não deve ser negligenciado. A incorporação de dados textuais, como notas clínicas, pode enriquecer a predição e apoiar decisões médicas.
Para o médico brasileiro, os achados reforçam a importância de considerar dados textuais na construção de ferramentas de apoio à decisão, mas também alertam para a necessidade de validação externa e transparência dos modelos antes de sua aplicação clínica rotineira.
O que o estudo mostrou
Revisão sistemática com busca em Embase, MEDLINE, Web of Science e Google Scholar identificou 126 estudos que descreveram 145 problemas de predição prognóstica clínica, no período de janeiro de 2005 a março de 2021. A meta-análise de desempenho mostrou que a combinação de texto e dados estruturados melhorou o desempenho dos modelos em comparação com o uso apenas de texto ou apenas de dados estruturados. Foram utilizadas diversas representações numéricas de texto, densas e esparsas, com aprendizado profundo e métodos tradicionais de aprendizado de máquina. Validação externa, disponibilidade pública e explicabilidade foram limitadas.
Limitações
O resumo não informa detalhes sobre a qualidade metodológica dos estudos incluídos, nem sobre possíveis vieses de publicação. Também não são descritas as características das populações ou dos contextos clínicos, o que limita a generalização dos achados. A heterogeneidade das representações de texto e dos métodos de modelagem pode dificultar a comparação direta entre estudos. A validação externa e a explicabilidade foram limitadas, restringindo a confiança nos modelos para aplicação clínica imediata.
Aplicação no consultório
Os achados sugerem que, ao considerar ferramentas de predição prognóstica para uso no consultório, o médico deve valorizar modelos que integrem dados textuais, como notas clínicas, desde que tenham sido validados externamente e apresentem explicabilidade adequada. Na gestão do consultório, isso implica investir em sistemas que capturem e estruturem informações textuais de forma ética e segura, além de priorizar soluções com transparência metodológica. A ausência de validação externa e de disponibilidade pública dos modelos destaca a necessidade de cautela antes de adotar tais ferramentas na rotina assistencial.
Estudo citado
Use of unstructured text in prognostic clinical prediction models: a systematic review. Journal of the American Medical Informatics Association : JAMIA, 2022.
Autores: Seinen TM, Fridgeirsson EA, Ioannou S, Jeannetot D, John LH, Kors JA, Markus AF, Pera V, Rekkas A, Williams RD, Yang C, van Mulligen EM, Rijnbeek PR.
DOI: 10.1093/jamia/ocac058 · PubMed: PMID 35475536
Perguntas para aprofundar
- Quais métodos de representação de texto são mais utilizados em modelos prognósticos clínicos?
- Como a explicabilidade pode ser incorporada em modelos que usam texto não estruturado?
- Qual o impacto da validação externa na confiabilidade de modelos prognósticos baseados em texto?
Mais sobre Regulação e validação clínica de IA
- Algoritmos de aprendizado de máquina podem prever a sobrevida de pacientes tratados para carcinoma hepatocelular?
- Radiômica e radiogenômica no prognóstico do câncer de cabeça e pescoço: o que a evidência atual permite aplicar na prática clínica?
- Modelos de aprendizado de máquina são superiores aos escores clínicos tradicionais na predição precoce de mortalidade na síndrome do desconforto respiratório agudo?
- Práticas de "spin" e padrões de relato inadequados também estão presentes em estudos de modelos preditivos com aprendizado de máquina?
- Ferramentas de predição clínica baseadas em aprendizado de máquina são válidas e eficazes na cirurgia pediátrica?
Todas as perguntas sobre Regulação e validação clínica de IA · Todos os temas · Versão em markdown