# Como os modelos generativos de linguagem vêm sendo testados e avaliados em aplicações com dados de prontuário eletrônico? > Revisão sistemática identificou 196 estudos com modelos generativos de linguagem sobre dados reais de prontuário eletrônico. Predominaram radiologia, oncologia e emergência, sobretudo em apoio à decisão clínica, com GPT-4 e GPT-3.5. Nenhuma métrica de processamento de linguagem natural mostrou correlação forte com a avaliação humana padrão-ouro. Estudo citado: Du X, Zhou Z, Wang Y, Chuang YW, Li Y, Yang R et al.. Testing and evaluation of generative large language models in electronic health record applications: a systematic review. Journal of the American Medical Informatics Association : JAMIA. 2026. DOI: https://doi.org/10.1093/jamia/ocaf233. PubMed: https://pubmed.ncbi.nlm.nih.gov/41528313/ ## Resposta A incorporação de modelos generativos de linguagem à análise de dados de prontuário eletrônico cresce rapidamente, mas a literatura que descreve como esses modelos são testados e avaliados ainda é heterogênea. Esta revisão sistemática buscou caracterizar quais especialidades clínicas e quais casos de uso já foram estudados e avaliados com dados reais de prontuário. Os autores seguiram as diretrizes Preferred Reporting Items for Systematic Review and Meta-Analyses e pesquisaram artigos no PubMed e no Web of Science publicados entre janeiro de 2023 e novembro de 2024. Foram incluídos estudos que usaram modelos generativos de linguagem para analisar dados reais de prontuário eletrônico e que relataram avaliações quantitativas de desempenho. A extração de dados identificou especialidades e tarefas de cada artigo e resumiu os métodos de avaliação empregados. De 18 735 artigos recuperados, 196 atenderam aos critérios. A maioria concentrou-se em radiologia (26,0%), oncologia (10,7%) e medicina de emergência (6,6%). Quanto às tarefas clínicas, o apoio à decisão clínica representou a maior proporção (62,2%), enquanto sumarizações e comunicação com pacientes foram as menores, com 5,6% e 5,1%, respectivamente. GPT-4 e GPT-3.5 foram os modelos mais usados, aparecendo em 60,2% e 57,7% dos estudos. A revisão identificou 22 métricas não relacionadas a processamento de linguagem natural e 35 métricas de processamento de linguagem natural. Embora as métricas de processamento de linguagem natural ofereçam maior escalabilidade, nenhuma demonstrou correlação forte com as avaliações humanas consideradas padrão-ouro. Os autores concluem que é necessário avaliar modelos generativos em dados de prontuário em uma gama mais ampla de especialidades e tarefas, além de desenvolver estruturas de avaliação padronizadas, escaláveis e clinicamente significativas. Para o médico, o recado é de cautela e de método: os resultados publicados ainda se concentram em poucas áreas e em tarefas de apoio à decisão, e as métricas automatizadas disponíveis não substituem a avaliação humana qualificada. O resumo não informa detalhes sobre a qualidade individual dos estudos incluídos nem sobre desempenho clínico comparativo entre modelos. ## O que o estudo mostrou Trata-se de revisão sistemática conduzida conforme as diretrizes Preferred Reporting Items for Systematic Review and Meta-Analyses, com busca no PubMed e no Web of Science entre janeiro de 2023 e novembro de 2024. De 18 735 artigos recuperados, 196 preencheram os critérios. Predominaram radiologia (26,0%), oncologia (10,7%) e medicina de emergência (6,6%). Apoio à decisão clínica foi a tarefa mais frequente (62,2%); sumarizações (5,6%) e comunicação com pacientes (5,1%) foram as menores. GPT-4 e GPT-3.5 apareceram em 60,2% e 57,7% dos estudos. Foram identificadas 22 métricas não relacionadas a processamento de linguagem natural e 35 métricas de processamento de linguagem natural, sem correlação forte destas com a avaliação humana padrão-ouro. ## Limitações O resumo não informa a qualidade metodológica individual dos estudos incluídos, o risco de viés, a heterogeneidade entre especialidades e tarefas, nem detalhes sobre os conjuntos de dados de prontuário utilizados. Também não são apresentados resultados de desempenho clínico comparativo entre modelos. A conclusão sobre a ausência de correlação forte entre métricas de processamento de linguagem natural e avaliação humana é apresentada de forma agregada, sem quantificação no resumo. ## Aplicação no consultório Ao considerar ferramentas generativas que operam sobre dados de prontuário, o médico deve exigir evidência de avaliação com dados reais e não apenas métricas automatizadas, dado que estas não demonstraram correlação forte com a avaliação humana padrão-ouro. Na gestão do consultório, isso orienta a definir processos de validação local, manter revisão humana das saídas e priorizar casos de uso com maior base de evidência, como apoio à decisão clínica, reconhecendo que sumarizações e comunicação com pacientes são as áreas menos estudadas. ## Perguntas para aprofundar - Quais especialidades clínicas ainda carecem de estudos de avaliação de modelos generativos de linguagem com dados de prontuário eletrônico? - Por que as métricas de processamento de linguagem natural não se correlacionam fortemente com a avaliação humana padrão-ouro? - Como estruturar uma avaliação clínica padronizada antes de adotar modelos generativos de linguagem no consultório? Tema: IA em emergência e UTI. Página: https://alphadoctor.com.br/ciencia/ia-emergencia-uti/como-os-modelos-generativos-de-linguagem-vem-sendo-testados-e-avaliados-em/ Conteúdo educacional para profissionais de saúde, baseado no resumo do artigo citado. Não substitui a leitura do estudo original nem avaliação clínica.