# Qual o desempenho do ChatGPT em aplicações clínicas de radiologia e quais os principais riscos e limitações?

> Uma revisão sistemática de 44 estudos mostrou que o ChatGPT teve alto desempenho em 84,1% dos casos, com acurácia mediana de 70,5% em 19 estudos e concordância mediana de 83,6% com padrões de referência em 5 estudos. A versão 4 superou a 3.5 em 90,9% das comparações. Riscos incluem respostas enviesadas, informações imprecisas e alucinações.

Estudo citado: Keshavarz P, Bagherieh S, Nabipoorashrafi SA, Chalian H, Rahsepar AA, Kim GHJ et al.. ChatGPT in radiology: A systematic review of performance, pitfalls, and future perspectives. Diagnostic and interventional imaging. 2024. DOI: https://doi.org/10.1016/j.diii.2024.04.003. PubMed: https://pubmed.ncbi.nlm.nih.gov/38679540/

## Resposta

A revisão sistemática analisou 44 estudos publicados até janeiro de 2024 que avaliaram o ChatGPT em radiologia clínica. Os resultados mostram que a ferramenta teve alto desempenho em 84,1% dos estudos, especialmente em tarefas de informação diagnóstica e suporte à decisão clínica. No entanto, em 15,9% dos estudos o desempenho foi inferior, particularmente em comunicação com pacientes e conteúdo educacional.

Quando analisada a acurácia, 19 estudos relataram mediana de 70,5%, e em 5 estudos a concordância mediana com padrões de referência (decisões de radiologistas ou diretrizes) foi de 83,6%. Esses números sugerem que, embora útil, o ChatGPT ainda não atinge níveis consistentes de precisão em todas as aplicações.

A comparação entre versões mostrou que o ChatGPTv4 superou o v3.5 em 90,9% dos 11 estudos que fizeram essa comparação, com melhor desempenho em questões de raciocínio mais complexo, compreensão de termos radiológicos e descrição de imagens. Isso indica avanços, mas também que versões anteriores tinham limitações importantes.

Os riscos identificados incluem respostas enviesadas, originalidade limitada, possibilidade de informações imprecisas e alucinações, citações inadequadas e referências falsas, vulnerabilidades de segurança cibernética e riscos à privacidade dos pacientes. Tais aspectos precisam ser considerados antes da incorporação clínica.

Os autores concluem que é prematuro confirmar proficiência e acurácia completas do ChatGPT em radiologia. São necessários mais estudos multicêntricos, com conjuntos de dados diversos e técnicas de pré-treinamento, para validar seu papel na prática radiológica.

## O que o estudo mostrou

Revisão sistemática de estudos publicados até janeiro de 2024, identificando 861 estudos, dos quais 44 avaliaram o desempenho do ChatGPT em radiologia. Destes, 37 (84,1%) demonstraram alto desempenho e 7 (15,9%) desempenho inferior, principalmente em diagnóstico e suporte à decisão clínica (6/44; 13,6%) e comunicação com pacientes e conteúdo educacional (1/44; 2,3%). Vinte e quatro estudos reportaram a proporção de desempenho: em 19 (79,2%) a acurácia mediana foi de 70,5%, e em 5 (20,8%) a concordância mediana com padrões de referência foi de 83,6%. Onze estudos compararam duas versões recentes do ChatGPT, e em 10 (90,9%) a versão 4 superou a 3.5.

## Limitações

O resumo não informa detalhes sobre o desenho ou a qualidade metodológica dos estudos incluídos, nem sobre possíveis vieses de publicação. Também não são descritas características das amostras ou dos conjuntos de dados utilizados. A heterogeneidade das aplicações e a ausência de estudos multicêntricos amplos limitam a generalização dos achados. Os autores destacam que é prematuro confirmar a proficiência completa da ferramenta.

## Aplicação no consultório

O médico pode considerar o ChatGPT como ferramenta auxiliar em radiologia, mas deve estar atento às limitações de acurácia e aos riscos de informações imprecisas. Na gestão do consultório, é prudente não basear decisões clínicas exclusivamente em respostas do ChatGPT e garantir a verificação por especialistas. A implementação requer políticas de privacidade e segurança cibernética, além de treinamento da equipe para reconhecer alucinações e vieses. O uso deve ser cauteloso e complementar, não substitutivo ao julgamento clínico.

## Perguntas para aprofundar

- Qual a acurácia do ChatGPT em tarefas de diagnóstico radiológico?
- Quais os principais riscos do uso do ChatGPT na prática clínica?
- A versão 4 do ChatGPT é superior à 3.5 em radiologia?

Tema: LLMs e chatbots clínicos. Página: https://alphadoctor.com.br/ciencia/ia-llm-chatbots/qual-o-desempenho-do-chatgpt-em-aplicacoes-clinicas-de-radiologia-e-quais-os/

Conteúdo educacional para profissionais de saúde, baseado no resumo do artigo citado. Não substitui a leitura do estudo original nem avaliação clínica.