# Como os grandes modelos de linguagem conversacionais, como o ChatGPT, estão sendo aplicados na saúde e quais são as principais preocupações apontadas pela literatura?

> Uma revisão sistemática identificou que os modelos de linguagem conversacionais são usados principalmente para sumarização e consulta de conhecimento médico, com resultados promissores nessas funções. Porém, não são confiáveis em tarefas complexas que exigem expertise de domínio, como diagnóstico. Preocupações com confiabilidade e viés predominam, e os mecanismos de viés e privacidade ainda não foram bem investigados.

Estudo citado: Wang L, Wan Z, Ni C, Song Q, Li Y, Clayton E et al.. Applications and Concerns of ChatGPT and Other Conversational Large Language Models in Health Care: Systematic Review. Journal of medical Internet research. 2024. DOI: https://doi.org/10.2196/22769. PubMed: https://pubmed.ncbi.nlm.nih.gov/39509695/

## Resposta

A revisão sistemática reuniu a literatura publicada até setembro de 2023 sobre aplicações e preocupações relacionadas a modelos de linguagem conversacionais na saúde. Os autores classificaram os estudos em quatro categorias de aplicação: sumarização, consulta de conhecimento médico, predição (como diagnóstico, recomendação de tratamento e sinergia medicamentosa) e administração (como documentação e coleta de informações).

O ChatGPT foi o modelo mais estudado, presente na maioria dos artigos incluídos. Os resultados indicaram que esses modelos apresentam desempenho promissor em sumarização e no fornecimento de conhecimento médico geral aos pacientes, com acurácia relativamente alta. Isso sugere utilidade potencial em tarefas de apoio informacional e organização de conteúdo clínico.

Por outro lado, os modelos não se mostraram consistentemente confiáveis em tarefas de saúde complexas que exigem expertise de domínio especializado, como o diagnóstico. As preocupações mais frequentes foram relacionadas à confiabilidade (qualidade dos dados de treinamento, acurácia, interpretabilidade e consistência das respostas) e ao viés. Questões de privacidade e aceitabilidade pública também foram mencionadas.

Um achado relevante é que, embora viés e privacidade sejam frequentemente citados como preocupações, nenhum dos experimentos revisados examinou de forma aprofundada os mecanismos pelos quais os modelos de linguagem geram esses problemas na pesquisa em saúde. Os autores concluem que estudos futuros devem focar em melhorar a confiabilidade em tarefas complexas e investigar como viés e privacidade são produzidos.

Para o médico, o resumo reforça que esses modelos podem auxiliar em tarefas de sumarização e informação, mas não devem ser tratados como ferramentas confiáveis para decisões clínicas complexas sem supervisão especializada. A revisão também sinaliza a necessidade de esforços legais, sociais e técnicos para regular e aprimorar o uso desses modelos na saúde.

## O que o estudo mostrou

Trata-se de uma revisão sistemática conduzida conforme a orientação PRISMA, com busca em PubMed, ACM e IEEE. A busca inicial identificou 820 artigos, dos quais 65 (7,9%) atenderam aos critérios. O ChatGPT foi o modelo mais estudado (60/65, 92% dos artigos), seguido por Bard (1/65, 2%), LLaMA (1/65, 2%) e outros modelos (6/65, 9%). As aplicações foram classificadas em sumarização, consulta de conhecimento médico, predição e administração; as preocupações em confiabilidade, viés, privacidade e aceitabilidade pública. Os modelos mostraram resultados promissores em sumarização e informação médica geral, mas não foram sempre confiáveis em tarefas complexas.

## Limitações

O resumo não informa detalhes sobre a qualidade metodológica dos estudos incluídos nem sobre heterogeneidade entre eles. A busca foi limitada a três bases e a artigos publicados antes de setembro de 2023, o que restringe a atualidade. O resumo também não informa tamanhos de amostra dos estudos primários nem desfechos padronizados, e os próprios autores apontam que nenhum experimento revisado examinou de forma aprofundada os mecanismos de viés e privacidade.

## Aplicação no consultório

Na prática clínica, o médico pode considerar esses modelos como apoio para sumarização de textos e consulta de conhecimento geral, sempre com verificação crítica. Para decisões diagnósticas e terapêuticas complexas, o resumo não sustenta uso autônomo. Na gestão do consultório, aplicações administrativas como documentação e coleta de informações aparecem como possibilidade, mas exigem atenção a privacidade e viés. Políticas internas de uso, revisão humana das saídas e cautela com dados de pacientes são implicações razoáveis a partir das preocupações levantadas.

## Perguntas para aprofundar

- Quais tarefas de saúde os modelos de linguagem conversacionais desempenham com maior confiabilidade segundo a literatura?
- Como os médicos podem usar o ChatGPT na documentação e administração do consultório com segurança?
- Quais mecanismos explicam viés e problemas de privacidade no uso de modelos de linguagem na saúde?

Tema: LLMs e chatbots clínicos. Página: https://alphadoctor.com.br/ciencia/ia-llm-chatbots/como-os-grandes-modelos-de-linguagem-conversacionais-como-o-chatgpt-estao-sendo/

Conteúdo educacional para profissionais de saúde, baseado no resumo do artigo citado. Não substitui a leitura do estudo original nem avaliação clínica.