# Qual é o desempenho do ChatGPT em responder perguntas médicas e quais são as limitações metodológicas dos estudos?

> Uma revisão sistemática com meta-análise mostrou que o ChatGPT apresenta acurácia integrada geral de 56% (IC 95%: 51%-60%) em responder perguntas médicas, mas há alta heterogeneidade entre estudos (I2 = 87%) e relato metodológico insuficiente, o que compromete a confiabilidade dos resultados.

Estudo citado: Wei Q, Yao Z, Cui Y, Wei B, Jin Z, Xu X. Evaluation of ChatGPT-generated medical responses: A systematic review and meta-analysis. Journal of biomedical informatics. 2024. DOI: https://doi.org/10.1016/j.jbi.2024.104620. PubMed: https://pubmed.ncbi.nlm.nih.gov/38462064/

## Resposta

A revisão sistemática buscou sumarizar as evidências sobre a avaliação do desempenho do ChatGPT em responder perguntas médicas e propor um framework para padronizar futuras pesquisas. Foram identificados 3520 artigos, dos quais 60 foram revisados e 17 incluídos na meta-análise. A acurácia integrada geral do ChatGPT foi de 56% (IC 95%: 51%-60%), com heterogeneidade substancial (I2 = 87%).

Os estudos variaram amplamente quanto à fonte das perguntas, ao processo de conversa e às métricas de avaliação. Muitos não relataram detalhes metodológicos essenciais, como a data da consulta, a versão do ChatGPT utilizada e a consistência entre avaliadores. Essa falta de padronização dificulta a comparação entre resultados e pode comprometer a confiabilidade das estimativas.

Os autores propõem um framework de avaliação para LLMs em consultas médicas, integrando insights da literatura selecionada. O framework destaca a necessidade de relatar transparentemente aspectos como a data da consulta, a versão do modelo, o processo de interação e as métricas utilizadas, além de considerar a consistência entre avaliadores.

A conclusão é que o ChatGPT tem potencial para responder perguntas médicas, mas a heterogeneidade dos desenhos de estudo e o relato insuficiente podem afetar a confiabilidade dos resultados. O framework proposto oferece direcionamento para futuros estudos e para o relato transparente de LLMs em respostas a perguntas médicas.

Para o médico brasileiro, os achados reforçam a importância de interpretar com cautela as evidências sobre LLMs na medicina e de considerar a necessidade de padronização nas avaliações antes de incorporar essas ferramentas na prática clínica ou na gestão do consultório.

## O que o estudo mostrou

Revisão sistemática com meta-análise que buscou em dez bases médicas em 15 de junho de 2023, usando o termo "ChatGPT", sem restrições. Foram identificados 3520 artigos, 60 revisados e 17 incluídos na meta-análise. A acurácia integrada geral do ChatGPT em responder perguntas médicas foi de 56% (IC 95%: 51%-60%, I2 = 87%). Os estudos variaram em fonte das perguntas, processo de conversa e métricas de avaliação, e muitos não relataram detalhes metodológicos como data da consulta, versão do ChatGPT e consistência entre avaliadores.

## Limitações

O resumo não informa as limitações específicas dos estudos incluídos, mas destaca a heterogeneidade dos desenhos (I2 = 87%) e o relato metodológico insuficiente, o que pode comprometer a confiabilidade dos resultados. A ausência de padronização nas avaliações e a falta de detalhes sobre data da consulta, versão do modelo e consistência entre avaliadores limitam a generalização dos achados.

## Aplicação no consultório

Os achados sugerem que o médico deve interpretar com cautela o uso do ChatGPT para responder perguntas médicas, dada a acurácia moderada e a alta heterogeneidade entre estudos. Na gestão do consultório, é prudente aguardar avaliações mais padronizadas e transparentes antes de incorporar essas ferramentas na rotina clínica ou em processos de apoio à decisão. O framework proposto pode orientar a escolha de ferramentas e a exigência de relatos metodológicos claros por parte de fornecedores.

## Perguntas para aprofundar

- Como a versão do ChatGPT influencia a acurácia das respostas médicas?
- Quais métricas de avaliação são mais adequadas para medir o desempenho de LLMs em perguntas médicas?
- Qual é o impacto da falta de padronização nos estudos sobre a confiabilidade dos resultados com ChatGPT na medicina?

Tema: LLMs e chatbots clínicos. Página: https://alphadoctor.com.br/ciencia/ia-llm-chatbots/qual-e-o-desempenho-do-chatgpt-em-responder-perguntas-medicas-e-quais-sao-as/

Conteúdo educacional para profissionais de saúde, baseado no resumo do artigo citado. Não substitui a leitura do estudo original nem avaliação clínica.