# Os ensaios clínicos com intervenções de grandes modelos de linguagem em medicina estão sendo reportados de forma completa?

> Não. Uma revisão sistemática mostrou que a completude de relato desses ensaios é modesta, com médias de 40% a 61% nos diferentes instrumentos. Detalhes metodológicos específicos de LLM, artefatos de reprodutibilidade e dados de segurança são frequentemente subnotificados, limitando a avaliação crítica e a replicação dos estudos.

Estudo citado: Chen D, Blayne A, Ning T, Chattha I, Afshar M, Ong JCL et al.. Reporting completeness of clinical trials evaluating large language model interventions in medicine: systematic review. BMJ (Clinical research ed.). 2026. DOI: https://doi.org/10.1136/bmj-2026-100855. PubMed: https://pubmed.ncbi.nlm.nih.gov/42869550/

## Resposta

A revisão sistemática avaliou a completude de relato de ensaios clínicos que testaram intervenções baseadas em grandes modelos de linguagem (LLM) na medicina. Foram incluídos relatos de ensaios, protocolos e registros de ensaios publicados entre 2017 e 2025. A análise usou diretrizes de relato como TRIPOD-LLM, CONSORT 2025, CONSORT-AI, SPIRIT 2025, SPIRIT-AI, CHART e o conjunto de dados da OMS para registro de ensaios.

Os resultados mostraram que a completude média foi modesta: 40% para TRIPOD-LLM, 44% para CONSORT 2025, 59% para CONSORT-AI, 52% para CHART, 51% para SPIRIT 2025, 57% para SPIRIT-AI e 61% para o registro da OMS. Os relatos priorizaram enquadramento narrativo e comentários em vez de detalhes metodológicos necessários para replicação, avaliação de risco de viés e governança do desempenho do modelo ao longo do tempo.

Elementos críticos para reprodutibilidade, como proveniência dos dados e da intervenção, pré-processamento de entradas, versionamento do modelo e modalidade de acesso, parâmetros de inferência, pós-processamento de saídas, e acesso a protocolo, dados e código, foram relatados de forma inconsistente. Além disso, o planejamento, monitoramento e relato de danos foram frequentemente incompletos, limitando a avaliação crítica da segurança das intervenções de LLM em saúde.

A conclusão é que os ensaios clínicos de intervenções de LLM apresentam adesão modesta às diretrizes de relato estabelecidas, com subnotificação persistente de detalhes metodológicos específicos de LLM, artefatos de reprodutibilidade e relato de danos. Isso compromete a reprodutibilidade e a avaliação confiante dos riscos de segurança antes da tradução clínica.

## O que o estudo mostrou

Revisão sistemática e meta-pesquisa que buscou relatos de ensaios, protocolos e registros de ensaios clínicos de intervenções com LLM em medicina, publicados de 1 de janeiro de 2017 a 6 de dezembro de 2025. A busca rendeu 461 registros, incluindo 68 relatos de ensaios, 15 protocolos e 378 registros. Os relatos eram predominantemente estudos randomizados de pequena amostra, unicêntricos, publicados entre 2024 e 2025, abrangendo diversas especialidades e focando principalmente educação de pacientes e recomendações de manejo. A completude média de relato foi modesta: TRIPOD-LLM 40%, CONSORT 2025 44%, CONSORT-AI 59%, CHART 52%, SPIRIT 2025 51%, SPIRIT-AI 57% e WHO Trial Registration Dataset 61%. Detalhes metodológicos específicos de LLM, artefatos de reprodutibilidade e relato de danos foram inconsistentes ou incompletos.

## Limitações

O resumo não informa limitações explícitas do estudo, como viés de seleção, heterogeneidade dos estudos incluídos ou possíveis restrições da busca. Também não detalha a qualidade metodológica dos estudos originais nem o processo de calibração dos avaliadores. Portanto, as conclusões refletem apenas os dados sumarizados no resumo.

## Aplicação no consultório

Para o médico que acompanha a incorporação de IA na prática clínica, o estudo alerta que a evidência disponível sobre intervenções com LLM frequentemente carece de detalhes metodológicos e de segurança. Ao considerar ferramentas de IA para documentação clínica, educação de pacientes ou apoio à decisão, é prudente verificar a existência de relatos completos de ensaios, com dados sobre reprodutibilidade e danos. Na gestão do consultório, isso significa priorizar fornecedores que documentem versões de modelo, parâmetros e processos de monitoramento, e não apenas resultados narrativos. A ausência dessas informações dificulta a avaliação crítica e a implementação segura.

## Perguntas para aprofundar

- Quais elementos metodológicos específicos de LLM são mais frequentemente subnotificados em ensaios clínicos?
- Como a subnotificação de danos em ensaios com LLM impacta a avaliação de segurança na prática clínica?
- Que diretrizes de relato são mais adequadas para avaliar intervenções de LLM em saúde?

Tema: Escriba ambiental e documentação clínica com IA. Página: https://alphadoctor.com.br/ciencia/ia-escriba-documentacao/os-ensaios-clinicos-com-intervencoes-de-grandes-modelos-de-linguagem-em/

Conteúdo educacional para profissionais de saúde, baseado no resumo do artigo citado. Não substitui a leitura do estudo original nem avaliação clínica.