Qual é o desempenho do ChatGPT em responder perguntas médicas e quais são as limitações metodológicas dos estudos?
Resposta curta: Uma revisão sistemática com meta-análise mostrou que o ChatGPT apresenta acurácia integrada geral de 56% (IC 95%: 51%-60%) em responder perguntas médicas, mas há alta heterogeneidade entre estudos (I2 = 87%) e relato metodológico insuficiente, o que compromete a confiabilidade dos resultados.
Resposta
A revisão sistemática buscou sumarizar as evidências sobre a avaliação do desempenho do ChatGPT em responder perguntas médicas e propor um framework para padronizar futuras pesquisas. Foram identificados 3520 artigos, dos quais 60 foram revisados e 17 incluídos na meta-análise. A acurácia integrada geral do ChatGPT foi de 56% (IC 95%: 51%-60%), com heterogeneidade substancial (I2 = 87%).
Os estudos variaram amplamente quanto à fonte das perguntas, ao processo de conversa e às métricas de avaliação. Muitos não relataram detalhes metodológicos essenciais, como a data da consulta, a versão do ChatGPT utilizada e a consistência entre avaliadores. Essa falta de padronização dificulta a comparação entre resultados e pode comprometer a confiabilidade das estimativas.
Os autores propõem um framework de avaliação para LLMs em consultas médicas, integrando insights da literatura selecionada. O framework destaca a necessidade de relatar transparentemente aspectos como a data da consulta, a versão do modelo, o processo de interação e as métricas utilizadas, além de considerar a consistência entre avaliadores.
A conclusão é que o ChatGPT tem potencial para responder perguntas médicas, mas a heterogeneidade dos desenhos de estudo e o relato insuficiente podem afetar a confiabilidade dos resultados. O framework proposto oferece direcionamento para futuros estudos e para o relato transparente de LLMs em respostas a perguntas médicas.
Para o médico brasileiro, os achados reforçam a importância de interpretar com cautela as evidências sobre LLMs na medicina e de considerar a necessidade de padronização nas avaliações antes de incorporar essas ferramentas na prática clínica ou na gestão do consultório.
O que o estudo mostrou
Revisão sistemática com meta-análise que buscou em dez bases médicas em 15 de junho de 2023, usando o termo "ChatGPT", sem restrições. Foram identificados 3520 artigos, 60 revisados e 17 incluídos na meta-análise. A acurácia integrada geral do ChatGPT em responder perguntas médicas foi de 56% (IC 95%: 51%-60%, I2 = 87%). Os estudos variaram em fonte das perguntas, processo de conversa e métricas de avaliação, e muitos não relataram detalhes metodológicos como data da consulta, versão do ChatGPT e consistência entre avaliadores.
Limitações
O resumo não informa as limitações específicas dos estudos incluídos, mas destaca a heterogeneidade dos desenhos (I2 = 87%) e o relato metodológico insuficiente, o que pode comprometer a confiabilidade dos resultados. A ausência de padronização nas avaliações e a falta de detalhes sobre data da consulta, versão do modelo e consistência entre avaliadores limitam a generalização dos achados.
Aplicação no consultório
Os achados sugerem que o médico deve interpretar com cautela o uso do ChatGPT para responder perguntas médicas, dada a acurácia moderada e a alta heterogeneidade entre estudos. Na gestão do consultório, é prudente aguardar avaliações mais padronizadas e transparentes antes de incorporar essas ferramentas na rotina clínica ou em processos de apoio à decisão. O framework proposto pode orientar a escolha de ferramentas e a exigência de relatos metodológicos claros por parte de fornecedores.
Estudo citado
Evaluation of ChatGPT-generated medical responses: A systematic review and meta-analysis. Journal of biomedical informatics, 2024.
Autores: Wei Q, Yao Z, Cui Y, Wei B, Jin Z, Xu X.
DOI: 10.1016/j.jbi.2024.104620 · PubMed: PMID 38462064
Perguntas para aprofundar
- Como a versão do ChatGPT influencia a acurácia das respostas médicas?
- Quais métricas de avaliação são mais adequadas para medir o desempenho de LLMs em perguntas médicas?
- Qual é o impacto da falta de padronização nos estudos sobre a confiabilidade dos resultados com ChatGPT na medicina?
Mais sobre LLMs e chatbots clínicos
- A inteligência artificial generativa é confiável para extrair dados de revisões sistemáticas em psicologia?
- Modelos de linguagem de grande escala (LLMs) têm acurácia diagnóstica comparável à de profissionais clínicos?
- Como os modelos de linguagem de grande escala (LLMs) estão sendo avaliados em medicina clínica e quais são as principais limitações dessas avaliações?
- Agentes conversacionais com inteligência artificial são eficazes para melhorar a saúde mental de jovens?
- Agentes relacionais baseados em inteligência artificial reduzem a solidão em diferentes faixas etárias?
Todas as perguntas sobre LLMs e chatbots clínicos · Todos os temas · Versão em markdown