Qual o desempenho do ChatGPT em aplicações clínicas de radiologia e quais os principais riscos e limitações?
Resposta curta: Uma revisão sistemática de 44 estudos mostrou que o ChatGPT teve alto desempenho em 84,1% dos casos, com acurácia mediana de 70,5% em 19 estudos e concordância mediana de 83,6% com padrões de referência em 5 estudos. A versão 4 superou a 3.5 em 90,9% das comparações. Riscos incluem respostas enviesadas, informações imprecisas e alucinações.
Resposta
A revisão sistemática analisou 44 estudos publicados até janeiro de 2024 que avaliaram o ChatGPT em radiologia clínica. Os resultados mostram que a ferramenta teve alto desempenho em 84,1% dos estudos, especialmente em tarefas de informação diagnóstica e suporte à decisão clínica. No entanto, em 15,9% dos estudos o desempenho foi inferior, particularmente em comunicação com pacientes e conteúdo educacional.
Quando analisada a acurácia, 19 estudos relataram mediana de 70,5%, e em 5 estudos a concordância mediana com padrões de referência (decisões de radiologistas ou diretrizes) foi de 83,6%. Esses números sugerem que, embora útil, o ChatGPT ainda não atinge níveis consistentes de precisão em todas as aplicações.
A comparação entre versões mostrou que o ChatGPTv4 superou o v3.5 em 90,9% dos 11 estudos que fizeram essa comparação, com melhor desempenho em questões de raciocínio mais complexo, compreensão de termos radiológicos e descrição de imagens. Isso indica avanços, mas também que versões anteriores tinham limitações importantes.
Os riscos identificados incluem respostas enviesadas, originalidade limitada, possibilidade de informações imprecisas e alucinações, citações inadequadas e referências falsas, vulnerabilidades de segurança cibernética e riscos à privacidade dos pacientes. Tais aspectos precisam ser considerados antes da incorporação clínica.
Os autores concluem que é prematuro confirmar proficiência e acurácia completas do ChatGPT em radiologia. São necessários mais estudos multicêntricos, com conjuntos de dados diversos e técnicas de pré-treinamento, para validar seu papel na prática radiológica.
O que o estudo mostrou
Revisão sistemática de estudos publicados até janeiro de 2024, identificando 861 estudos, dos quais 44 avaliaram o desempenho do ChatGPT em radiologia. Destes, 37 (84,1%) demonstraram alto desempenho e 7 (15,9%) desempenho inferior, principalmente em diagnóstico e suporte à decisão clínica (6/44; 13,6%) e comunicação com pacientes e conteúdo educacional (1/44; 2,3%). Vinte e quatro estudos reportaram a proporção de desempenho: em 19 (79,2%) a acurácia mediana foi de 70,5%, e em 5 (20,8%) a concordância mediana com padrões de referência foi de 83,6%. Onze estudos compararam duas versões recentes do ChatGPT, e em 10 (90,9%) a versão 4 superou a 3.5.
Limitações
O resumo não informa detalhes sobre o desenho ou a qualidade metodológica dos estudos incluídos, nem sobre possíveis vieses de publicação. Também não são descritas características das amostras ou dos conjuntos de dados utilizados. A heterogeneidade das aplicações e a ausência de estudos multicêntricos amplos limitam a generalização dos achados. Os autores destacam que é prematuro confirmar a proficiência completa da ferramenta.
Aplicação no consultório
O médico pode considerar o ChatGPT como ferramenta auxiliar em radiologia, mas deve estar atento às limitações de acurácia e aos riscos de informações imprecisas. Na gestão do consultório, é prudente não basear decisões clínicas exclusivamente em respostas do ChatGPT e garantir a verificação por especialistas. A implementação requer políticas de privacidade e segurança cibernética, além de treinamento da equipe para reconhecer alucinações e vieses. O uso deve ser cauteloso e complementar, não substitutivo ao julgamento clínico.
Estudo citado
ChatGPT in radiology: A systematic review of performance, pitfalls, and future perspectives. Diagnostic and interventional imaging, 2024.
Autores: Keshavarz P, Bagherieh S, Nabipoorashrafi SA, Chalian H, Rahsepar AA, Kim GHJ, Hassani C, Raman SS, Bedayat A.
DOI: 10.1016/j.diii.2024.04.003 · PubMed: PMID 38679540
Perguntas para aprofundar
- Qual a acurácia do ChatGPT em tarefas de diagnóstico radiológico?
- Quais os principais riscos do uso do ChatGPT na prática clínica?
- A versão 4 do ChatGPT é superior à 3.5 em radiologia?
Mais sobre LLMs e chatbots clínicos
- Como os modelos de linguagem de grande escala (LLMs) estão sendo avaliados em medicina clínica e quais são as principais limitações dessas avaliações?
- Como os grandes modelos de linguagem conversacionais, como o ChatGPT, estão sendo aplicados na saúde e quais são as principais preocupações apontadas pela literatura?
- O ChatGPT e a IA assistiva podem transformar a elaboração de laudos radiológicos estruturados?
- Quais estratégias baseadas em evidências reduzem alucinações em modelos de linguagem na saúde?
- O que a revisão sistemática assistida por LLM revela sobre a qualidade e os resultados dos estudos de LLMs em medicina clínica?
Todas as perguntas sobre LLMs e chatbots clínicos · Todos os temas · Versão em markdown