O aprendizado de máquina já pode ser usado para avaliar a competência do médico, e o que a evidência mostra sobre isso?
Resposta curta: Uma revisão sistemática identificou 69 estudos que aplicaram técnicas de aprendizado de máquina à avaliação de competência de médicos e estudantes. As especialidades mais estudadas foram cirurgia geral e radiologia, e os domínios mais avaliados foram cuidado ao paciente e conhecimento médico. Os autores concluem que a viabilidade foi demonstrada, mas ainda faltam estudos de validação.
Resposta
A avaliação da competência médica é tradicionalmente feita por instrumentos observacionais e provas formais. Esta revisão sistemática buscou mapear como técnicas de aprendizado de máquina vêm sendo aplicadas para automatizar ou apoiar essa avaliação, abrangendo estudantes de medicina, residentes, fellows e médicos assistentes.
Os autores pesquisaram bases como MEDLINE, EMBASE, PsycINFO, Web of Science, ACM Digital Library, IEEE Xplore Digital Library, PROSPERO e Cochrane Database of Systematic Reviews, considerando artigos publicados desde o início das bases até 30 de abril de 2017. Foram incluídos estudos que aplicassem pelo menos uma técnica de aprendizado de máquina à avaliação de competência médica.
Dos 4.953 artigos iniciais, 69 atenderam aos critérios. As especialidades mais estudadas foram cirurgia geral (24; 34,8%) e radiologia (15; 21,7%). As técnicas mais frequentes foram processamento de linguagem natural (24; 34,8%), máquina de vetores de suporte (15; 21,7%) e modelos ocultos de Markov (14; 20,3%). Os domínios de competência mais avaliados foram cuidado ao paciente (63; 91,3%) e conhecimento médico (45; 65,2%).
A conclusão dos autores é que o número de estudos cresce, mas que, embora muitos tenham investigado a viabilidade de determinadas técnicas, mais pesquisa de validação é necessária. O uso dessas técnicas pode ter potencial para integrar e analisar informações pragmáticas que poderiam ser usadas em avaliações e intervenções em tempo real.
Para o médico, o recado é de cautela e acompanhamento: trata-se de um campo em desenvolvimento, com predomínio de estudos de viabilidade em poucas especialidades, e não de ferramentas validadas para decisões de certificação ou de avaliação de desempenho individual.
O que o estudo mostrou
Revisão sistemática com busca em oito bases, incluindo MEDLINE, EMBASE e outras, até 30 de abril de 2017. De 4.953 artigos iniciais, 69 preencheram os critérios de inclusão. Cirurgia geral (24; 34,8%) e radiologia (15; 21,7%) foram as especialidades mais estudadas; processamento de linguagem natural (24; 34,8%), máquina de vetores de suporte (15; 21,7%) e modelos ocultos de Markov (14; 20,3%) foram as técnicas mais aplicadas; cuidado ao paciente (63; 91,3%) e conhecimento médico (45; 65,2%) foram os domínios mais avaliados. A qualidade metodológica foi avaliada pelo MERSQI, com síntese narrativa qualitativa.
Limitações
O resumo não detalha as limitações individuais dos estudos incluídos nem os escores de qualidade obtidos pelo MERSQI. A busca foi realizada em maio de 2017, o que restringe a atualidade dos achados. Os autores apontam que muitos estudos investigaram apenas a viabilidade das técnicas, sendo necessária mais pesquisa de validação. O resumo não informa tamanho de amostra agregado nem características dos participantes.
Aplicação no consultório
A revisão não fornece ferramenta pronta para uso na prática individual; serve como mapa do que existe em avaliação automatizada de competência. Para o médico que atua em ensino, preceptoria ou gestão de equipe, o achado orienta a não adotar sistemas de aprendizado de máquina como base isolada de avaliação de desempenho, dado que faltam estudos de validação. Pode apoiar decisões de gestão sobre onde investir em tecnologia de avaliação, priorizando domínios como cuidado ao paciente e conhecimento médico, e acompanhar a literatura antes de incorporar tais recursos ao consultório ou a programas de educação continuada.
Estudo citado
Using Machine Learning to Assess Physician Competence: A Systematic Review. Academic medicine : journal of the Association of American Medical Colleges, 2019.
Autores: Dias RD, Gupta A, Yule SJ.
DOI: 10.1097/ACM.0000000000002414 · PubMed: PMID 30113364
Perguntas para aprofundar
- Quais técnicas de aprendizado de máquina são mais usadas na avaliação de competência médica?
- Em quais especialidades a avaliação de competência por aprendizado de máquina foi mais estudada?
- Que domínios de competência médica são mais avaliados com aprendizado de máquina?
Mais sobre IA em diagnóstico por imagem e radiologia
- Como o processamento de linguagem natural tem sido aplicado na radiologia e qual a qualidade das evidências?
- Qual é o estado da arte da inteligência artificial em oncologia musculoesquelética e quais as implicações para a prática clínica?
- A inteligência artificial é uma ferramenta confiável para diagnóstico e manejo clínico odontológico, segundo revisão sistemática?
- Como a inteligência artificial tem sido aplicada em imagens médicas na Itália e quais as tendências?
- Como estão estruturados os programas de treinamento em inteligência artificial (IA) oferecidos aos radiologistas e quais são suas limitações?
Todas as perguntas sobre IA em diagnóstico por imagem e radiologia · Todos os temas · Versão em markdown