# A ferramenta APPRAISE-AI é confiável para avaliar quantitativamente a qualidade de estudos de IA para apoio à decisão clínica?

> Sim. O APPRAISE-AI mostrou forte confiabilidade interavaliador e intra-avaliador, com coeficientes de correlação intraclasse entre 0,74 e 1,00 para itens, 0,81 e 0,99 para domínios e 0,91 e 0,98 para escores totais, além de boa correlação com escores de especialistas e adesão ao TRIPOD.

Estudo citado: Kwong JCC, Khondker A, Lajkosz K, McDermott MBA, Frigola XB, McCradden MD et al.. APPRAISE-AI Tool for Quantitative Evaluation of AI Studies for Clinical Decision Support. JAMA network open. 2023. DOI: https://doi.org/10.1001/jamanetworkopen.2023.35377. PubMed: https://pubmed.ncbi.nlm.nih.gov/37747733/

## Resposta

O APPRAISE-AI é uma ferramenta quantitativa desenvolvida para avaliar a qualidade metodológica e de relato de modelos de predição por inteligência artificial (IA) voltados ao apoio à decisão clínica. Ela abrange seis domínios: relevância clínica, qualidade dos dados, condução metodológica, robustez dos resultados, qualidade do relato e reprodutibilidade, totalizando 24 itens com pontuação máxima de 100 pontos.

No estudo de melhoria da qualidade, a ferramenta foi aplicada a 28 estudos de IA para estimativa de sepse. Os escores gerais variaram de 33 (baixa qualidade) a 67 (alta qualidade), com a maioria dos estudos classificada como de qualidade moderada. Os cinco itens com piores pontuações foram fonte dos dados, cálculo do tamanho da amostra, avaliação de viés, análise de erro e transparência.

A confiabilidade da ferramenta foi considerada forte. Os coeficientes de correlação intraclasse variaram de 0,74 a 1,00 para itens individuais, de 0,81 a 0,99 para domínios e de 0,91 a 0,98 para escores totais, indicando boa consistência entre avaliadores e ao longo do tempo.

Os escores do APPRAISE-AI correlacionaram-se com escores de especialistas (ρ=0,82), taxa de citação em 3 anos (ρ=0,69), número de domínios de baixo risco de viés pelo QUADAS-2 (ρ=0,56) e adesão ao TRIPOD (ρ=0,87). Esses achados sugerem que a ferramenta pode ser útil para comparar a qualidade de diferentes estudos de IA.

A ferramenta pode auxiliar investigadores, revisores, editores e agências de fomento na avaliação quantitativa da qualidade de pesquisas com IA para apoio à decisão clínica, embora o resumo não detalhe a aplicabilidade em outros contextos ou a validação externa.

## O que o estudo mostrou

Estudo de melhoria da qualidade que avaliou 28 estudos de IA para estimativa de sepse usando a ferramenta APPRAISE-AI, com escores variando de 33 a 67. A ferramenta apresentou forte confiabilidade inter e intra-avaliador (coeficientes de correlação intraclasse de 0,74 a 1,00 para itens, 0,81 a 0,99 para domínios e 0,91 a 0,98 para escores totais) e correlação com escores de especialistas, taxa de citação em 3 anos, domínios de baixo risco de viés do QUADAS-2 e adesão ao TRIPOD.

## Limitações

O resumo não informa detalhes sobre a amostra de estudos (apenas 28), o desenho específico da avaliação de confiabilidade, nem se a ferramenta foi validada em outros contextos além da sepse. Também não são descritas limitações do estudo ou da ferramenta, como possível viés de seleção ou ausência de validação externa.

## Aplicação no consultório

A ferramenta APPRAISE-AI pode ser empregada por médicos na avaliação crítica de estudos sobre IA antes de incorporar modelos preditivos na prática clínica, auxiliando na seleção de ferramentas com melhor qualidade metodológica. Na gestão do consultório, pode orientar decisões sobre adoção de sistemas de apoio à decisão baseados em IA, priorizando aqueles com maior transparência e reprodutibilidade, e servir como referência para discussões de qualidade em reuniões científicas.

## Perguntas para aprofundar

- Como o APPRAISE-AI se compara a outras ferramentas de avaliação de qualidade de estudos de IA?
- Quais domínios do APPRAISE-AI são mais relevantes para a prática clínica?
- A ferramenta APPRAISE-AI pode ser aplicada a estudos de IA em outras especialidades além da sepse?

Tema: IA em emergência e UTI. Página: https://alphadoctor.com.br/ciencia/ia-emergencia-uti/a-ferramenta-appraise-ai-e-confiavel-para-avaliar-quantitativamente-a-qualidade/

Conteúdo educacional para profissionais de saúde, baseado no resumo do artigo citado. Não substitui a leitura do estudo original nem avaliação clínica.