A inteligência artificial generativa é confiável para extrair dados de revisões sistemáticas em psicologia?
Resposta curta: A acurácia da extração por LLMs varia conforme a variável: para 20% das variáveis foi inaceitável em todas as métricas, e apenas 12% alcançaram acurácia excelente. Variáveis de contexto e moderadoras são extraídas com mais precisão do que aquelas para cálculo de tamanho de efeito. Descrições detalhadas e modelos maiores melhoram o desempenho.
Resposta
Um estudo publicado no Psychological Bulletin avaliou a acurácia de oito modelos de linguagem de grande escala (LLMs) na extração de dados de 22 bases de revisões sistemáticas. Foram extraídos 312.329 pontos de dados de 2.179 estudos, abrangendo 186 variáveis. A comparação foi feita com dados extraídos por humanos, considerados padrão de referência.
Os resultados mostram que a acurácia variou principalmente entre as variáveis, menos entre as revisões sistemáticas e menos ainda entre os diferentes LLMs. Para 20% das variáveis, a acurácia foi inaceitável em todas as métricas; para 46%, foi aceitável em algumas métricas e inaceitável em outras; em 15% foi aceitável, mas não alta em todas as métricas; em 8% foi alta, mas não excelente; e em 12% foi excelente.
Análises de moderadores indicaram que a acurácia foi maior para variáveis que descrevem o contexto dos estudos e variáveis moderadoras, em comparação com variáveis usadas para calcular tamanho de efeito. Além disso, revisões com descrições mais detalhadas das variáveis e modelos de maior tamanho apresentaram melhor desempenho.
Os autores concluem que a extração por IA generativa pode acelerar o processo, mas é necessário manter controle humano significativo. A variabilidade entre variáveis sugere que a aplicação deve ser feita com cautela, priorizando-se variáveis com maior probabilidade de acurácia aceitável e sempre com verificação por revisores humanos.
O resumo não informa o desenho exato do estudo nem as limitações metodológicas, mas os achados destacam a importância de se considerar o tipo de variável e a qualidade das descrições ao se utilizar LLMs para extração de dados em revisões sistemáticas.
O que o estudo mostrou
O estudo comparou a extração de dados por oito LLMs com a extração humana em 22 bases de revisões sistemáticas publicadas no Psychological Bulletin. Foram extraídos 312.329 pontos de dados de 2.179 estudos, cobrindo 186 variáveis. A acurácia foi inaceitável em todas as métricas para 20% das variáveis, aceitável em algumas e inaceitável em outras para 46%, aceitável mas não alta em todas as métricas para 15%, alta mas não excelente para 8% e excelente para 12%. A acurácia foi maior para variáveis de contexto e moderadoras do que para variáveis de cálculo de tamanho de efeito, e aumentou com descrições mais detalhadas e modelos maiores.
Limitações
O resumo não informa o desenho exato do estudo, nem detalhes sobre a amostra de revisões ou os critérios de seleção. Também não são apresentadas limitações metodológicas específicas, como possíveis vieses ou análise de erros. Os resultados referem-se ao contexto da psicologia e podem não ser generalizáveis para outras áreas. O resumo não informa a magnitude dos erros nem a viabilidade prática da implementação.
Aplicação no consultório
Para o médico que utiliza revisões sistemáticas na prática clínica, os achados sugerem que a extração automatizada por IA generativa pode ser útil para variáveis descritivas e moderadoras, mas não é confiável para todas as variáveis, especialmente aquelas usadas no cálculo de tamanhos de efeito. Na gestão do consultório, ao se apoiar em ferramentas de IA para sumarizar evidências, é essencial manter revisão humana e priorizar fontes com descrições detalhadas das variáveis. A acurácia variável entre modelos indica que a escolha do modelo e a validação local são necessárias antes de incorporar essas ferramentas na rotina.
Estudo citado
Data extraction by generative artificial intelligence: Assessing determinants of accuracy using human-extracted data from systematic review databases. Psychological bulletin, 2025.
Autores: Jansen T, Liebenow LW, Mertens U, Schmidt FTC, Lohmann JF, Fleckenstein J, Meyer J.
DOI: 10.1037/bul0000501 · PubMed: PMID 41396533
Perguntas para aprofundar
- Quais tipos de variáveis são extraídas com maior acurácia por LLMs em revisões sistemáticas?
- Como o tamanho do modelo de linguagem influencia a acurácia da extração de dados?
- Que estratégias de controle humano são recomendadas ao usar IA generativa para extração de dados?
Mais sobre LLMs e chatbots clínicos
- Qual é o desempenho do ChatGPT em responder perguntas médicas e quais são as limitações metodológicas dos estudos?
- Quais estratégias baseadas em evidências reduzem alucinações em modelos de linguagem na saúde?
- Modelos de linguagem de grande porte (LLMs) podem automatizar etapas de revisões sistemáticas com desempenho confiável?
- Modelos de linguagem de grande escala (LLMs) têm acurácia diagnóstica comparável à de profissionais clínicos?
- Como os modelos de linguagem de grande escala (LLMs) estão sendo avaliados em medicina clínica e quais são as principais limitações dessas avaliações?
Todas as perguntas sobre LLMs e chatbots clínicos · Todos os temas · Versão em markdown