A ferramenta APPRAISE-AI é confiável para avaliar quantitativamente a qualidade de estudos de IA para apoio à decisão clínica?
Resposta curta: Sim. O APPRAISE-AI mostrou forte confiabilidade interavaliador e intra-avaliador, com coeficientes de correlação intraclasse entre 0,74 e 1,00 para itens, 0,81 e 0,99 para domínios e 0,91 e 0,98 para escores totais, além de boa correlação com escores de especialistas e adesão ao TRIPOD.
Resposta
O APPRAISE-AI é uma ferramenta quantitativa desenvolvida para avaliar a qualidade metodológica e de relato de modelos de predição por inteligência artificial (IA) voltados ao apoio à decisão clínica. Ela abrange seis domínios: relevância clínica, qualidade dos dados, condução metodológica, robustez dos resultados, qualidade do relato e reprodutibilidade, totalizando 24 itens com pontuação máxima de 100 pontos.
No estudo de melhoria da qualidade, a ferramenta foi aplicada a 28 estudos de IA para estimativa de sepse. Os escores gerais variaram de 33 (baixa qualidade) a 67 (alta qualidade), com a maioria dos estudos classificada como de qualidade moderada. Os cinco itens com piores pontuações foram fonte dos dados, cálculo do tamanho da amostra, avaliação de viés, análise de erro e transparência.
A confiabilidade da ferramenta foi considerada forte. Os coeficientes de correlação intraclasse variaram de 0,74 a 1,00 para itens individuais, de 0,81 a 0,99 para domínios e de 0,91 a 0,98 para escores totais, indicando boa consistência entre avaliadores e ao longo do tempo.
Os escores do APPRAISE-AI correlacionaram-se com escores de especialistas (ρ=0,82), taxa de citação em 3 anos (ρ=0,69), número de domínios de baixo risco de viés pelo QUADAS-2 (ρ=0,56) e adesão ao TRIPOD (ρ=0,87). Esses achados sugerem que a ferramenta pode ser útil para comparar a qualidade de diferentes estudos de IA.
A ferramenta pode auxiliar investigadores, revisores, editores e agências de fomento na avaliação quantitativa da qualidade de pesquisas com IA para apoio à decisão clínica, embora o resumo não detalhe a aplicabilidade em outros contextos ou a validação externa.
O que o estudo mostrou
Estudo de melhoria da qualidade que avaliou 28 estudos de IA para estimativa de sepse usando a ferramenta APPRAISE-AI, com escores variando de 33 a 67. A ferramenta apresentou forte confiabilidade inter e intra-avaliador (coeficientes de correlação intraclasse de 0,74 a 1,00 para itens, 0,81 a 0,99 para domínios e 0,91 a 0,98 para escores totais) e correlação com escores de especialistas, taxa de citação em 3 anos, domínios de baixo risco de viés do QUADAS-2 e adesão ao TRIPOD.
Limitações
O resumo não informa detalhes sobre a amostra de estudos (apenas 28), o desenho específico da avaliação de confiabilidade, nem se a ferramenta foi validada em outros contextos além da sepse. Também não são descritas limitações do estudo ou da ferramenta, como possível viés de seleção ou ausência de validação externa.
Aplicação no consultório
A ferramenta APPRAISE-AI pode ser empregada por médicos na avaliação crítica de estudos sobre IA antes de incorporar modelos preditivos na prática clínica, auxiliando na seleção de ferramentas com melhor qualidade metodológica. Na gestão do consultório, pode orientar decisões sobre adoção de sistemas de apoio à decisão baseados em IA, priorizando aqueles com maior transparência e reprodutibilidade, e servir como referência para discussões de qualidade em reuniões científicas.
Estudo citado
APPRAISE-AI Tool for Quantitative Evaluation of AI Studies for Clinical Decision Support. JAMA network open, 2023.
Autores: Kwong JCC, Khondker A, Lajkosz K, McDermott MBA, Frigola XB, McCradden MD, Mamdani M, Kulkarni GS, Johnson AEW.
DOI: 10.1001/jamanetworkopen.2023.35377 · PubMed: PMID 37747733
Perguntas para aprofundar
- Como o APPRAISE-AI se compara a outras ferramentas de avaliação de qualidade de estudos de IA?
- Quais domínios do APPRAISE-AI são mais relevantes para a prática clínica?
- A ferramenta APPRAISE-AI pode ser aplicada a estudos de IA em outras especialidades além da sepse?
Mais sobre IA em emergência e UTI
- Modelos de inteligência artificial superam escores tradicionais na predição de sepse em pronto-socorro e já podem ser aplicados na prática?
- Modelos de aprendizado de máquina são confiáveis para prever sepse na prática clínica?
- Modelos de IA para predição de sepse em adultos hospitalizados têm desempenho confiável para uso clínico rotineiro?
- Algoritmos de aprendizado de máquina para predição de sepse implantados em hospitais realmente reduzem mortalidade e quais são os desafios de implementação?
- Quais preditores são usados em algoritmos de inteligência artificial para prever sepse e qual o desempenho desses modelos?
Todas as perguntas sobre IA em emergência e UTI · Todos os temas · Versão em markdown