Como os métodos de aprendizado de máquina aplicados a dados do mundo real estão sendo validados para apoiar decisões entre paciente e profissional de saúde?
Resposta curta: Uma revisão sistemática identificou 34 publicações entre janeiro de 2014 e setembro de 2020 sobre aprendizado de máquina para decisões no nível paciente-profissional. Os métodos mais comuns foram árvore de decisão e random forest. A maioria usou validação interna, mas apenas dois estudos fizeram validação externa, e a maior parte empregou um único algoritmo.
Resposta
A revisão sistemática reuniu publicações observacionais que empregaram aprendizado de máquina para informar a tomada de decisão no nível do paciente e do profissional de saúde. O levantamento abrangeu o período de janeiro de 2014 a setembro de 2020 e identificou 34 publicações elegíveis, avaliadas por dois revisores independentes.
Os achados mostram grande diversidade de métodos, pacotes estatísticos e abordagens entre os estudos. As técnicas mais frequentes foram árvore de decisão e random forest. A maioria dos estudos aplicou apenas um algoritmo, e somente oito empregaram múltiplos algoritmos de aprendizado de máquina sobre os mesmos dados.
Quanto à validação, a maior parte dos trabalhos utilizou validação interna, mas apenas dois conduziram validação externa. Além disso, sete itens da versão modificada da lista de verificação de Luo não foram atendidos por mais da metade dos estudos publicados, o que sinaliza lacunas na qualidade metodológica relatada.
Os autores concluem que há necessidade de garantir o uso de múltiplas abordagens de aprendizado de máquina, de definir claramente a estratégia de seleção de modelos e de realizar tanto validação interna quanto externa. Isso asseguraria que decisões de cuidado ao paciente sejam tomadas com evidência da mais alta qualidade.
O trabalho também recomenda que pesquisas futuras empreguem rotineiramente métodos de ensemble, incorporando múltiplos algoritmos de aprendizado de máquina. O resumo não informa a distribuição das especialidades clínicas nem o tamanho das bases de dados analisadas.
O que o estudo mostrou
Trata-se de uma revisão sistemática da literatura que buscou pesquisas observacionais publicadas sobre aprendizado de máquina para decisão no nível paciente-profissional. Foram identificadas 34 publicações entre janeiro de 2014 e setembro de 2020, avaliadas por dois revisores independentes, com qualidade medida por versão modificada da lista de Luo. Os métodos mais comuns foram árvore de decisão e random forest; a maioria usou um único algoritmo, oito usaram múltiplos, a maior parte fez validação interna e apenas dois fizeram validação externa.
Limitações
O resumo não informa detalhes sobre as bases de dados pesquisadas, os critérios completos de elegibilidade, o tamanho das amostras dos estudos incluídos nem a magnitude dos achados clínicos. Também não descreve quais itens específicos da lista de Luo falharam. Essas lacunas limitam a generalização das conclusões sobre a qualidade metodológica dos estudos disponíveis.
Aplicação no consultório
Ao considerar ferramentas de aprendizado de máquina para apoiar decisões clínicas no consultório, o médico deve verificar se o modelo foi submetido a validação externa, se a estratégia de seleção de modelos está descrita e se múltiplos algoritmos foram comparados. Na gestão do consultório, isso orienta a escolha criteriosa de sistemas de apoio à decisão e a exigência de documentação metodológica dos fornecedores antes da incorporação na rotina.
Estudo citado
Systematic literature review of machine learning methods used in the analysis of real-world data for patient-provider decision making. BMC medical informatics and decision making, 2021.
Autores: Brnabic A, Hess LM.
DOI: 10.1186/s12911-021-01403-2 · PubMed: PMID 33588830
Perguntas para aprofundar
- Quais critérios de qualidade devem ser exigidos de um modelo de aprendizado de máquina antes de usá-lo na prática clínica?
- Por que a validação externa é considerada necessária além da validação interna em modelos preditivos?
- Como métodos de ensemble com múltiplos algoritmos podem melhorar a confiabilidade das decisões clínicas?
Mais sobre Regulação e validação clínica de IA
- Como a inteligência artificial pode ser aplicada à MALDI-TOF MS na microbiologia clínica e quais os desafios para sua implementação?
- Quais aplicações de aprendizado de máquina já foram descritas no cuidado clínico de pessoas vivendo com HIV e em terapia antirretroviral?
- Como a inteligência artificial e o aprendizado de máquina têm sido aplicados em cirurgia ambulatorial?
- Qual é a evidência que sustenta a aprovação de algoritmos de aprendizado de máquina pela FDA em neurorradiologia?
- Como modelos de aprendizado de máquina baseados em dados clínicos têm sido usados para prever a sobrevida no câncer de pulmão?
Todas as perguntas sobre Regulação e validação clínica de IA · Todos os temas · Versão em markdown