A qualidade do relato de estudos que usam aprendizado de máquina para diagnóstico médico é adequada?
Resposta curta: Uma revisão sistemática mostrou que todos os estudos avaliados falharam em usar diretrizes de relato, e grande parte não forneceu detalhes adequados sobre os participantes, dificultando a replicação, a avaliação e a interpretação dos achados. Os itens menos reportados incluíram distribuição da gravidade da doença, diagrama de fluxo de pacientes e distribuição de diagnósticos alternativos.
Resposta
A revisão sistemática avaliou a qualidade do relato de estudos que validam modelos de aprendizado de máquina para diagnóstico clínico, com foco nas informações sobre os participantes. Foram incluídos 28 artigos publicados entre julho de 2015 e julho de 2018 em periódicos clínicos principais. A extração de dados seguiu a diretriz TRIPOD, e dois revisores independentes avaliaram os artigos.
Os resultados mostraram que o detalhe da fonte de dados foi relatado em 24 dos 28 artigos. Em todos os estudos, o conjunto de pacientes para avaliação do sistema de diagnóstico foi particionado de um conjunto maior, e o método de derivação foi sempre reportado. A informação sobre classificação diagnóstica/não diagnóstica foi bem relatada em 23 de 28 artigos.
Os itens menos relatados foram o uso de diretriz de relato (0/28), distribuição da gravidade da doença (8/28), diagrama de fluxo de pacientes (10/28) e distribuição de diagnósticos alternativos (10/28). Em 23 dos 28 estudos, houve atraso entre a realização do padrão de referência e os testes de aprendizado de máquina; em um estudo não houve atraso e em quatro não ficou claro. Para 15 estudos, não estava claro se o grupo de avaliação correspondia ao cenário em que o teste seria aplicado.
A conclusão é que todos os estudos falharam em usar diretrizes de relato, e uma grande proporção não tinha detalhes adequados sobre os participantes, dificultando a replicação, avaliação e interpretação dos achados. Isso ressalta a necessidade de melhorar a transparência e a completude dos relatos em pesquisas com aprendizado de máquina para diagnóstico.
Para o médico, esses achados indicam que a literatura disponível pode carecer de informações cruciais para julgar a aplicabilidade dos modelos. Ao considerar incorporar ferramentas de aprendizado de máquina na prática, é importante buscar estudos que sigam diretrizes de relato e forneçam detalhes suficientes sobre a população e o contexto de avaliação.
O que o estudo mostrou
Revisão sistemática de 28 estudos publicados entre julho de 2015 e julho de 2018 em periódicos clínicos principais, avaliando a qualidade do relato de modelos de aprendizado de máquina para diagnóstico. A extração seguiu a diretriz TRIPOD. Todos os estudos falharam em usar diretrizes de relato; os itens menos reportados foram distribuição da gravidade da doença (8/28), diagrama de fluxo de pacientes (10/28) e distribuição de diagnósticos alternativos (10/28). Em 15 estudos, não estava claro se o grupo de avaliação correspondia ao cenário de aplicação.
Limitações
O resumo não informa limitações do estudo, como possíveis vieses de seleção ou restrições da busca. A revisão se limitou a periódicos clínicos principais e a um período específico, o que pode não refletir toda a literatura. Além disso, a avaliação focou no relato, não na qualidade metodológica dos modelos.
Aplicação no consultório
Os achados alertam que, ao avaliar ferramentas de aprendizado de máquina para diagnóstico, o médico deve verificar se os estudos fornecem detalhes suficientes sobre os participantes e o contexto de aplicação. A ausência de diretrizes de relato e de informações sobre gravidade e diagnósticos alternativos pode comprometer a generalização dos resultados. No consultório, isso reforça a necessidade de cautela na incorporação dessas tecnologias e de buscar evidências mais transparentes.
Estudo citado
Reporting quality of studies using machine learning models for medical diagnosis: a systematic review. BMJ open, 2020.
Autores: Yusuf M, Atal I, Li J, Smith P, Ravaud P, Fergie M, Callaghan M, Selfe J.
DOI: 10.1136/bmjopen-2019-034568 · PubMed: PMID 32205374
Perguntas para aprofundar
- Quais são os principais itens de relato ausentes em estudos de aprendizado de máquina para diagnóstico?
- Como a falta de detalhes sobre os participantes pode afetar a aplicabilidade clínica dos modelos?
- O que a diretriz TRIPOD recomenda para o relato de estudos de predição diagnóstica?
Mais sobre IA para previsão de no-show, agendamento e gestão de clínicas
- Modelos de aprendizado de máquina são úteis para prever faltas em consultas odontológicas e como aplicá-los na gestão da clínica?
- A inteligência artificial é eficaz para prever admissões hospitalares e otimizar o fluxo de pacientes em serviços de saúde?
- A inteligência artificial é útil na gestão da lesão renal aguda e quais são as lacunas da pesquisa atual?
- O aprendizado de máquina pode otimizar a gestão do centro cirúrgico e reduzir cancelamentos?
- Quais mecanismos de big data são usados em aplicações de saúde e o que a literatura sistemática mostra sobre eles?
Todas as perguntas sobre IA para previsão de no-show, agendamento e gestão de clínicas · Todos os temas · Versão em markdown