IA em emergência e UTI

Como os modelos generativos de linguagem vêm sendo testados e avaliados em aplicações com dados de prontuário eletrônico?

Resposta

A incorporação de modelos generativos de linguagem à análise de dados de prontuário eletrônico cresce rapidamente, mas a literatura que descreve como esses modelos são testados e avaliados ainda é heterogênea. Esta revisão sistemática buscou caracterizar quais especialidades clínicas e quais casos de uso já foram estudados e avaliados com dados reais de prontuário.

Os autores seguiram as diretrizes Preferred Reporting Items for Systematic Review and Meta-Analyses e pesquisaram artigos no PubMed e no Web of Science publicados entre janeiro de 2023 e novembro de 2024. Foram incluídos estudos que usaram modelos generativos de linguagem para analisar dados reais de prontuário eletrônico e que relataram avaliações quantitativas de desempenho. A extração de dados identificou especialidades e tarefas de cada artigo e resumiu os métodos de avaliação empregados.

De 18 735 artigos recuperados, 196 atenderam aos critérios. A maioria concentrou-se em radiologia (26,0%), oncologia (10,7%) e medicina de emergência (6,6%). Quanto às tarefas clínicas, o apoio à decisão clínica representou a maior proporção (62,2%), enquanto sumarizações e comunicação com pacientes foram as menores, com 5,6% e 5,1%, respectivamente. GPT-4 e GPT-3.5 foram os modelos mais usados, aparecendo em 60,2% e 57,7% dos estudos.

A revisão identificou 22 métricas não relacionadas a processamento de linguagem natural e 35 métricas de processamento de linguagem natural. Embora as métricas de processamento de linguagem natural ofereçam maior escalabilidade, nenhuma demonstrou correlação forte com as avaliações humanas consideradas padrão-ouro. Os autores concluem que é necessário avaliar modelos generativos em dados de prontuário em uma gama mais ampla de especialidades e tarefas, além de desenvolver estruturas de avaliação padronizadas, escaláveis e clinicamente significativas.

Para o médico, o recado é de cautela e de método: os resultados publicados ainda se concentram em poucas áreas e em tarefas de apoio à decisão, e as métricas automatizadas disponíveis não substituem a avaliação humana qualificada. O resumo não informa detalhes sobre a qualidade individual dos estudos incluídos nem sobre desempenho clínico comparativo entre modelos.

O que o estudo mostrou

Trata-se de revisão sistemática conduzida conforme as diretrizes Preferred Reporting Items for Systematic Review and Meta-Analyses, com busca no PubMed e no Web of Science entre janeiro de 2023 e novembro de 2024. De 18 735 artigos recuperados, 196 preencheram os critérios. Predominaram radiologia (26,0%), oncologia (10,7%) e medicina de emergência (6,6%). Apoio à decisão clínica foi a tarefa mais frequente (62,2%); sumarizações (5,6%) e comunicação com pacientes (5,1%) foram as menores. GPT-4 e GPT-3.5 apareceram em 60,2% e 57,7% dos estudos. Foram identificadas 22 métricas não relacionadas a processamento de linguagem natural e 35 métricas de processamento de linguagem natural, sem correlação forte destas com a avaliação humana padrão-ouro.

Limitações

O resumo não informa a qualidade metodológica individual dos estudos incluídos, o risco de viés, a heterogeneidade entre especialidades e tarefas, nem detalhes sobre os conjuntos de dados de prontuário utilizados. Também não são apresentados resultados de desempenho clínico comparativo entre modelos. A conclusão sobre a ausência de correlação forte entre métricas de processamento de linguagem natural e avaliação humana é apresentada de forma agregada, sem quantificação no resumo.

Aplicação no consultório

Ao considerar ferramentas generativas que operam sobre dados de prontuário, o médico deve exigir evidência de avaliação com dados reais e não apenas métricas automatizadas, dado que estas não demonstraram correlação forte com a avaliação humana padrão-ouro. Na gestão do consultório, isso orienta a definir processos de validação local, manter revisão humana das saídas e priorizar casos de uso com maior base de evidência, como apoio à decisão clínica, reconhecendo que sumarizações e comunicação com pacientes são as áreas menos estudadas.

Estudo citado

Testing and evaluation of generative large language models in electronic health record applications: a systematic review. Journal of the American Medical Informatics Association : JAMIA, 2026.
Autores: Du X, Zhou Z, Wang Y, Chuang YW, Li Y, Yang R, Zhang W, Wang X, Chen X, Guan H, Lian J, Hong P, Bates DW, Zhou L.
DOI: 10.1093/jamia/ocaf233 · PubMed: PMID 41528313

Perguntas para aprofundar

• Quais especialidades clínicas ainda carecem de estudos de avaliação de modelos generativos de linguagem com dados de prontuário eletrônico?
• Por que as métricas de processamento de linguagem natural não se correlacionam fortemente com a avaliação humana padrão-ouro?
• Como estruturar uma avaliação clínica padronizada antes de adotar modelos generativos de linguagem no consultório?

Mais sobre IA em emergência e UTI

• A inteligência artificial já pode apoiar decisões clínicas no atendimento ao trauma?
• Modelos de machine learning para sepse são explicáveis e incorporam biomarcadores como PCR e procalcitonina?
• Novos displays de informações de pacientes em terapia intensiva melhoram os desfechos clínicos?
• Como o processamento de linguagem natural pode ser aplicado na educação médica e quais as evidências disponíveis?
• A integração da inteligência artificial à informática em enfermagem melhora o planejamento do cuidado, o fluxo de trabalho e os desfechos em saúde?

Todas as perguntas sobre IA em emergência e UTI · Todos os temas · Versão em markdown