Quais são os tipos e a frequência de erros da inteligência artificial na leitura de mamografias de rastreamento?
Resposta curta: Uma revisão sistemática com metanálise de sete estudos retrospectivos (447.676 exames) mostrou que os erros da IA são majoritariamente falsos positivos e falsos negativos, com proporções que variam conforme o limiar de positividade e a versão do algoritmo. Outros tipos de erro, como localização e técnicos, foram raramente relatados.
Resposta
A revisão sistemática buscou quantificar os erros de algoritmos de inteligência artificial (IA) na leitura de mamografias de rastreamento em cenários do mundo real. Foram incluídos sete estudos retrospectivos de validação externa, totalizando 447.676 exames, publicados entre 2019 e 2022. A síntese descritiva focou nos tipos de erro e na frequência, com metanálise de proporções de falsos negativos (FNP) e falsos positivos (FPP) dentro de limiares de positividade da IA.
Os resultados mostraram que a FPP pooled diminuiu gradualmente com o aumento do limiar de positividade, de 71,83% (IC 95% 69,67–73,90) no Transpara 3 para 10,77% (IC 95% 8,34–13,79) no Transpara 9. Concomitantemente, a FNP pooled aumentou de 0,02% (IC 95% 0,01–0,03) no Transpara 3 para 0,12% (IC 95% 0,06–0,26) no Transpara 9, evidenciando um trade-off entre falsos positivos e falsos negativos.
A heterogeneidade entre os estudos dentro dos mesmos limiares foi atribuída à versão do algoritmo e à completude do padrão de referência. Outras formas de erro da IA, como erros de localização e erros técnicos, foram reportadas em apenas um estudo cada, indicando que a literatura carece de dados sobre esses aspectos.
Os autores concluem que os erros da IA são majoritariamente interpretados sob a ótica da acurácia do teste, com variabilidade esperada não só pelo limiar de positividade, mas também pela versão do algoritmo e pela qualidade dos estudos. A escassez de relatos sobre outros tipos de erro limita a compreensão ampla das consequências da implementação dessa tecnologia.
Para o médico, esses achados reforçam a necessidade de considerar o limiar de positividade e a versão do algoritmo ao avaliar o desempenho da IA, além de atentar para a possibilidade de erros não capturados pelos estudos atuais.
O que o estudo mostrou
Revisão sistemática com metanálise de sete estudos retrospectivos de validação externa, incluindo 447.676 exames de mamografia de rastreamento, publicados entre 2019 e 2022. Cinco estudos relataram erros como falsos negativos ou falsos positivos. A proporção de falsos positivos pooled variou de 71,83% (Transpara 3) a 10,77% (Transpara 9), enquanto a de falsos negativos variou de 0,02% a 0,12% nos mesmos limiares. Outros tipos de erro foram raramente reportados.
Limitações
O resumo não informa detalhes sobre a qualidade individual dos estudos incluídos, nem sobre possíveis vieses de publicação. A heterogeneidade entre os estudos foi atribuída à versão do algoritmo e à completude do padrão de referência, mas não foram exploradas outras fontes. Além disso, a maioria dos estudos focou apenas em falsos positivos e negativos, com dados escassos sobre outros tipos de erro, limitando conclusões sobre a gama completa de falhas da IA.
Aplicação no consultório
Na prática clínica, ao considerar a implementação de IA para leitura de mamografias, o médico deve estar ciente de que o desempenho varia conforme o limiar de positividade e a versão do algoritmo, com trade-off entre falsos positivos e negativos. Isso impacta a gestão do consultório, pois a escolha do limiar afeta a taxa de recalls e a detecção de cânceres. Além disso, a escassez de dados sobre outros tipos de erro sugere cautela na adoção acrítica da tecnologia, recomendando-se monitoramento contínuo dos resultados.
Estudo citado
Frequency and characteristics of errors by artificial intelligence (AI) in reading screening mammography: a systematic review. Breast cancer research and treatment, 2024.
Autores: Zeng A, Houssami N, Noguchi N, Nickel B, Marinovich ML.
DOI: 10.1007/s10549-024-07353-3 · PubMed: PMID 38853221
Perguntas para aprofundar
- Como o limiar de positividade da IA influencia a taxa de falsos positivos e falsos negativos na mamografia de rastreamento?
- Quais são os outros tipos de erros da IA além de falsos positivos e negativos e por que são pouco relatados?
- A versão do algoritmo de IA afeta a heterogeneidade dos resultados entre estudos de validação externa?
Mais sobre IA em dermatologia
- A inteligência artificial em mamografia tem validação externa suficiente para complementar o rastreamento do câncer de mama na prática clínica?
- Algoritmos de inteligência artificial baseados em mamografia são melhores que ferramentas tradicionais para prever risco futuro de câncer de mama?
- A inteligência artificial autônoma é tão eficaz quanto radiologistas na detecção de câncer de mama em mamografia digital e tomossíntese?
- A inteligência artificial já pode ser usada com segurança no rastreamento mamográfico populacional, e em qual papel?
- Qual é a atualização das evidências sobre rastreamento do câncer de mama para informar diretrizes canadenses?
Todas as perguntas sobre IA em dermatologia · Todos os temas · Versão em markdown