Um pipeline de modelo de linguagem de grande porte pode auditar automaticamente a adesão ao CONSORT em ensaios clínicos randomizados e o que ele revela sobre a qualidade da publicação?
Resposta curta: Sim. Nesta revisão sistemática, um pipeline zero-shot de LLM avaliou 21 itens do CONSORT em 21 041 ensaios clínicos randomizados, com concordância de 91,7% com especialistas e macro F1 de 0,86. A conformidade média subiu de 27,3% para 57,0%, mas itens críticos como ocultação da alocação e validade externa permaneceram pouco reportados.
Resposta
A auditoria manual da adesão ao CONSORT não consegue acompanhar o volume de publicações. Este estudo construiu e validou um pipeline de modelo de linguagem de grande porte em modo zero-shot para avaliação automatizada do CONSORT e para mapear a qualidade do relato ao longo do tempo, entre disciplinas biomédicas e por características dos ensaios.
A revisão sistemática incluiu ensaios clínicos randomizados indexados no PubMed, em inglês, de acesso aberto, com participantes humanos, publicados entre 1966 e 2024. Os PDFs foram convertidos para XML e vinculados a metadados do Semantic Scholar e do ClinicalTrials.gov. O modelo foi testado no benchmark CONSORT-Text Classification Model, checado por especialistas em 70 ensaios sorteados aleatoriamente e então aplicado à amostra completa.
Foram triados 53 137 PDFs e incluídos 21 041 ensaios clínicos randomizados, com mediana do ano de publicação em 2014 e 30 disciplinas representadas; um subconjunto de 1790 ensaios tinha vínculo com registro e mediana de recrutamento planejado de 210 participantes. No conjunto de validação de 70 artigos, as saídas do modelo coincidiram com os especialistas em 91,7% das decisões, e o macro F1 no benchmark foi de 0,86.
A conformidade média com o CONSORT aumentou de 27,3% no período de 1966 a 1990 para 57,0% no período de 2010 a 2024. Ainda assim, elementos críticos continuaram incomuns, como o mecanismo de ocultação da alocação, reportado em 16,1%, e a discussão de validade externa, em 1,6%. A conformidade variou de 35,2% em farmacologia a 63,4% em urologia, com associações apenas negligenciáveis com características dos ensaios.
Os autores concluem que um LLM zero-shot auditou a adesão ao CONSORT em escala, revelando lacunas persistentes de relato e ampla variação entre disciplinas, o que reforça a necessidade de ações editoriais direcionadas para melhorar transparência e reprodutibilidade.
O que o estudo mostrou
Revisão sistemática que incluiu 21 041 ensaios clínicos randomizados publicados entre 1966 e 2024, em 30 disciplinas, com subconjunto de 1790 ensaios vinculados a registro. O LLM foi validado no benchmark CONSORT-TM (macro F1 de 0,86) e em 70 artigos checados por especialistas, com concordância de 91,7% em 2210 decisões. A conformidade média com o CONSORT subiu de 27,3% para 57,0%, mas itens críticos como ocultação da alocação (16,1%) e validade externa (1,6%) permaneceram raros.
Limitações
O resumo não informa limitações explicitamente. Trata-se de revisão sistemática restrita a artigos indexados no PubMed, em inglês e de acesso aberto, o que pode limitar a generalização. O resumo também não detalha a heterogeneidade entre disciplinas nem as características dos ensaios incluídos, e a validação por especialistas foi feita em amostra de 70 artigos.
Aplicação no consultório
Para o médico que conduz ou interpreta ensaios clínicos, o estudo reforça que a ausência de itens críticos do CONSORT deve ser considerada ao avaliar a confiabilidade de um artigo. Na gestão do consultório e de projetos de pesquisa, ferramentas automatizadas de auditoria podem apoiar a revisão de manuscritos antes da submissão e a triagem crítica da literatura, sem substituir a leitura especializada.
Estudo citado
Large Language Model Analysis of Reporting Quality of Randomized Clinical Trial Articles: A Systematic Review. JAMA network open, 2025.
Autores: Srinivasan A, Berkowitz J, Friedrich NA, Kivelson S, Tatonetti NP.
DOI: 10.1001/jamanetworkopen.2025.29418 · PubMed: PMID 40875232
Perguntas para aprofundar
- Como interpretar a ausência do mecanismo de ocultação da alocação ao avaliar um ensaio clínico randomizado?
- Ferramentas de LLM podem apoiar a revisão de manuscritos antes da submissão a periódicos?
- Por que a discussão de validade externa é tão pouco reportada nos ensaios clínicos randomizados?
Mais sobre LLMs e chatbots clínicos
- Chatbots baseados em grandes modelos de linguagem são confiáveis para identificar interações medicamentosas na prática clínica?
- O que os grandes modelos de linguagem podem oferecer à enfermagem clínica e quais desafios práticos eles impõem?
- Modelos de linguagem de grande porte (LLMs) são acurados para apoio à decisão clínica em otorrinolaringologia?
- Agentes conversacionais são eficazes no manejo de sintomas físicos e psicológicos segundo revisão sistemática de ensaios clínicos randomizados?
- Como os modelos de linguagem de grande escala estão sendo aplicados e avaliados em neurocirurgia?
Todas as perguntas sobre LLMs e chatbots clínicos · Todos os temas · Versão em markdown