Práticas de "spin" e padrões de relato inadequados também estão presentes em estudos de modelos preditivos com aprendizado de máquina?
Resposta curta: Sim. Em revisão sistemática de 152 estudos de modelos preditivos com aprendizado de máquina supervisionado, práticas de spin e relato inadequado foram frequentes: a discriminação foi descrita sem estimativas de precisão na maioria dos resumos e textos principais, e muitas recomendações de uso clínico foram feitas sem validação externa.
Resposta
A revisão sistemática avaliou a presença e a frequência de práticas de spin e de padrões de relato inadequados em estudos que desenvolveram e/ou validaram modelos de predição clínica com técnicas de aprendizado de máquina supervisionado. Os autores buscaram estudos de modelos preditivos diagnósticos e prognósticos no PubMed, sem restrição de fonte de dados, desfecho ou especialidade clínica.
Foram incluídos 152 estudos, sendo 38% de modelos diagnósticos e 62% de modelos prognósticos. Quando a discriminação foi relatada, ela foi descrita sem estimativas de precisão em 53 de 71 resumos e em 53 de 81 textos principais, o que indica fragilidade na forma de apresentar o desempenho dos modelos.
Outro achado relevante foi a recomendação de uso clínico sem validação externa. Entre 21 resumos que recomendavam o modelo para a prática diária, 20 não apresentavam qualquer validação externa dos modelos desenvolvidos. No texto principal, 74 de 133 estudos fizeram recomendações para uso clínico sem validação externa.
Além disso, diretrizes de relato foram citadas em apenas 13 de 152 estudos. Os autores concluem que práticas de spin e padrões de relato inadequados também estão presentes em estudos de modelos preditivos com aprendizado de máquina, e que um framework específico para identificação de spin pode melhorar a qualidade do relato desses estudos.
O que o estudo mostrou
Revisão sistemática com busca no PubMed de 01/2018 a 12/2019, incluindo 152 estudos de modelos preditivos diagnósticos e prognósticos com aprendizado de máquina supervisionado. A discriminação foi descrita sem estimativas de precisão em 53/71 resumos e 53/81 textos principais. Entre 21 resumos que recomendavam uso na prática diária, 20 não tinham validação externa; no texto principal, 74/133 fizeram recomendações clínicas sem validação externa. Diretrizes de relato foram citadas em 13/152 estudos.
Limitações
O resumo não informa detalhes sobre a avaliação de risco de viés dos estudos incluídos, nem sobre a heterogeneidade entre especialidades clínicas. Também não descreve os critérios operacionais usados para classificar spin, o que limita a generalização dos achados. A busca restrita ao PubMed e a um período definido também não é discutida no resumo.
Aplicação no consultório
Ao avaliar modelos preditivos com aprendizado de máquina para uso na prática, o médico deve verificar se há validação externa antes de adotá-los e observar se as estimativas de discriminação vêm acompanhadas de medidas de precisão. Na gestão do consultório, isso orienta a escolha criteriosa de ferramentas e a leitura crítica de publicações que recomendam uso clínico sem validação externa.
Estudo citado
Systematic review finds "spin" practices and poor reporting standards in studies on machine learning-based prediction models. Journal of clinical epidemiology, 2023.
Autores: Andaur Navarro CL, Damen JAA, Takada T, Nijman SWJ, Dhiman P, Ma J, Collins GS, Bajpai R, Riley RD, Moons KGM, Hooft L.
DOI: 10.1016/j.jclinepi.2023.03.024 · PubMed: PMID 37024020
Perguntas para aprofundar
- Como identificar práticas de spin em estudos de modelos preditivos com aprendizado de máquina?
- Qual é a importância da validação externa antes de recomendar um modelo preditivo na prática clínica?
- Quais diretrizes de relato devem ser consideradas em estudos de modelos preditivos com aprendizado de máquina?
Mais sobre Regulação e validação clínica de IA
- Algoritmos de aprendizado de máquina podem prever a sobrevida de pacientes tratados para carcinoma hepatocelular?
- Modelos de aprendizado de máquina são superiores aos escores clínicos tradicionais na predição precoce de mortalidade na síndrome do desconforto respiratório agudo?
- Modelos de predição de perda dentária em periodontite são confiáveis para uso clínico?
- Ferramentas de predição clínica baseadas em aprendizado de máquina são válidas e eficazes na cirurgia pediátrica?
- Modelos preditivos de aprendizado de máquina para pancreatite aguda: o que a evidência atual permite concluir?
Todas as perguntas sobre Regulação e validação clínica de IA · Todos os temas · Versão em markdown