# Quais são os tipos e a frequência de erros da inteligência artificial na leitura de mamografias de rastreamento?

> Uma revisão sistemática com metanálise de sete estudos retrospectivos (447.676 exames) mostrou que os erros da IA são majoritariamente falsos positivos e falsos negativos, com proporções que variam conforme o limiar de positividade e a versão do algoritmo. Outros tipos de erro, como localização e técnicos, foram raramente relatados.

Estudo citado: Zeng A, Houssami N, Noguchi N, Nickel B, Marinovich ML. Frequency and characteristics of errors by artificial intelligence (AI) in reading screening mammography: a systematic review. Breast cancer research and treatment. 2024. DOI: https://doi.org/10.1007/s10549-024-07353-3. PubMed: https://pubmed.ncbi.nlm.nih.gov/38853221/

## Resposta

A revisão sistemática buscou quantificar os erros de algoritmos de inteligência artificial (IA) na leitura de mamografias de rastreamento em cenários do mundo real. Foram incluídos sete estudos retrospectivos de validação externa, totalizando 447.676 exames, publicados entre 2019 e 2022. A síntese descritiva focou nos tipos de erro e na frequência, com metanálise de proporções de falsos negativos (FNP) e falsos positivos (FPP) dentro de limiares de positividade da IA.

Os resultados mostraram que a FPP pooled diminuiu gradualmente com o aumento do limiar de positividade, de 71,83% (IC 95% 69,67–73,90) no Transpara 3 para 10,77% (IC 95% 8,34–13,79) no Transpara 9. Concomitantemente, a FNP pooled aumentou de 0,02% (IC 95% 0,01–0,03) no Transpara 3 para 0,12% (IC 95% 0,06–0,26) no Transpara 9, evidenciando um trade-off entre falsos positivos e falsos negativos.

A heterogeneidade entre os estudos dentro dos mesmos limiares foi atribuída à versão do algoritmo e à completude do padrão de referência. Outras formas de erro da IA, como erros de localização e erros técnicos, foram reportadas em apenas um estudo cada, indicando que a literatura carece de dados sobre esses aspectos.

Os autores concluem que os erros da IA são majoritariamente interpretados sob a ótica da acurácia do teste, com variabilidade esperada não só pelo limiar de positividade, mas também pela versão do algoritmo e pela qualidade dos estudos. A escassez de relatos sobre outros tipos de erro limita a compreensão ampla das consequências da implementação dessa tecnologia.

Para o médico, esses achados reforçam a necessidade de considerar o limiar de positividade e a versão do algoritmo ao avaliar o desempenho da IA, além de atentar para a possibilidade de erros não capturados pelos estudos atuais.

## O que o estudo mostrou

Revisão sistemática com metanálise de sete estudos retrospectivos de validação externa, incluindo 447.676 exames de mamografia de rastreamento, publicados entre 2019 e 2022. Cinco estudos relataram erros como falsos negativos ou falsos positivos. A proporção de falsos positivos pooled variou de 71,83% (Transpara 3) a 10,77% (Transpara 9), enquanto a de falsos negativos variou de 0,02% a 0,12% nos mesmos limiares. Outros tipos de erro foram raramente reportados.

## Limitações

O resumo não informa detalhes sobre a qualidade individual dos estudos incluídos, nem sobre possíveis vieses de publicação. A heterogeneidade entre os estudos foi atribuída à versão do algoritmo e à completude do padrão de referência, mas não foram exploradas outras fontes. Além disso, a maioria dos estudos focou apenas em falsos positivos e negativos, com dados escassos sobre outros tipos de erro, limitando conclusões sobre a gama completa de falhas da IA.

## Aplicação no consultório

Na prática clínica, ao considerar a implementação de IA para leitura de mamografias, o médico deve estar ciente de que o desempenho varia conforme o limiar de positividade e a versão do algoritmo, com trade-off entre falsos positivos e negativos. Isso impacta a gestão do consultório, pois a escolha do limiar afeta a taxa de recalls e a detecção de cânceres. Além disso, a escassez de dados sobre outros tipos de erro sugere cautela na adoção acrítica da tecnologia, recomendando-se monitoramento contínuo dos resultados.

## Perguntas para aprofundar

- Como o limiar de positividade da IA influencia a taxa de falsos positivos e falsos negativos na mamografia de rastreamento?
- Quais são os outros tipos de erros da IA além de falsos positivos e negativos e por que são pouco relatados?
- A versão do algoritmo de IA afeta a heterogeneidade dos resultados entre estudos de validação externa?

Tema: IA em dermatologia. Página: https://alphadoctor.com.br/ciencia/ia-dermatologia/quais-sao-os-tipos-e-a-frequencia-de-erros-da-inteligencia-artificial-na/

Conteúdo educacional para profissionais de saúde, baseado no resumo do artigo citado. Não substitui a leitura do estudo original nem avaliação clínica.