Como os grandes modelos de linguagem, como o ChatGPT, estão sendo avaliados em questões de avaliação em cirurgia ortopédica e qual sua acurácia em comparação com residentes?
Resposta curta: Revisão sistemática com 60 estudos mostrou que o ChatGPT 4.0 acertou de 47,2 a 73,6% das questões ortopédicas sem imagens, superando o ChatGPT 3.5 (29,4 a 55,8%). Residentes de ortopedia pontuaram entre 74,2 e 75,3%. A acurácia caiu com imagens, e há espaço para desenvolvimento em análise de imagens e documentação clínica.
Resposta
A revisão sistemática reuniu 60 estudos sobre grandes modelos de linguagem (LLM) em cirurgia ortopédica, todos incluindo versões do ChatGPT 3.0 ou 4.0. Cinco estudos avaliaram o Bard, e houve um artigo cada para Perplexity AI e Bing. O foco principal foi a capacidade desses modelos de responder questões de avaliação ortopédica e perguntas abertas, com medidas de acurácia baseadas em porcentagem de acertos em múltipla escolha ou consenso de especialistas.
Os resultados mostram que o ChatGPT 4.0 teve acurácia de 47,2 a 73,6% em questões ortopédicas sem imagens e de 35,7 a 65,85% com imagens. O ChatGPT 3.5 apresentou acurácia de 29,4 a 55,8% sem imagens e de 22,4 a 46,34% com imagens. O Bard variou de 49,8 a 58%. Esses dados indicam melhora significativa do ChatGPT 4.0 sobre o 3.5, mas com desempenho inferior ao de residentes de ortopedia, que pontuaram entre 74,2 e 75,3%.
A comparação com residentes é um achado central: os residentes de ortopedia tiveram pontuação consistentemente superior à dos LLMs. Isso sugere que, embora os modelos evoluam, ainda não substituem o raciocínio clínico treinado em avaliações ortopédicas. A revisão também aponta que a acurácia cai quando imagens são incluídas, indicando limitação na análise de imagem.
Os autores concluem que há oportunidade significativa para desenvolvimento do desempenho dos LLMs em avaliações ortopédicas, análise baseada em imagens e documentação clínica. A revisão é a primeira a mapear o estado atual da pesquisa de LLMs em cirurgia ortopédica, identificando quais modelos são estudados, suas funcionalidades e a qualidade dos resultados. O resumo não informa detalhes sobre a população de pacientes ou o desenho individual dos estudos incluídos.
O que o estudo mostrou
Revisão sistemática conduzida conforme diretrizes PRISMA, com busca em PubMed, Embase e Cochrane Library, incluindo 60 estudos. Todos incluíam ChatGPT 3.0 ou 4.0; cinco incluíam Bard e um artigo cada para Perplexity AI e Bing. A maioria avaliou questões de avaliação ortopédica (23 estudos) e capacidade de responder perguntas abertas (31 estudos). A acurácia do ChatGPT 4.0 variou de 47,2 a 73,6% sem imagens e 35,7 a 65,85% com imagens; ChatGPT 3.5, de 29,4 a 55,8% sem imagens e 22,4 a 46,34% com imagens; Bard, de 49,8 a 58%. Residentes de ortopedia pontuaram entre 74,2 e 75,3%.
Limitações
O resumo não informa o desenho individual dos estudos incluídos, nem detalhes sobre amostras, critérios de inclusão ou risco de viés. Também não descreve como as questões ortopédicas foram selecionadas ou validadas. A heterogeneidade das medidas de acurácia e a ausência de meta-análise limitam conclusões comparativas mais precisas. O resumo não informa limitações específicas dos estudos primários.
Aplicação no consultório
Os achados sugerem que LLMs podem auxiliar em tarefas educacionais e de apoio à resposta de questões ortopédicas, mas com acurácia inferior à de residentes, especialmente com imagens. Na prática e na gestão do consultório, isso reforça a necessidade de supervisão médica e validação das informações geradas por IA. A documentação clínica e a análise de imagens ainda são áreas em desenvolvimento, não devendo ser usadas como substitutas do julgamento clínico. O médico pode considerar esses modelos como ferramentas auxiliares, não como fonte definitiva.
Estudo citado
Systematic Review on Large Language Models in Orthopaedic Surgery. Journal of clinical medicine, 2025.
Autores: Mo K, Lin R, Dunn E, Girgis G, Fang W, Walsh J, Banyai-Flores N, Watson T, Lee D.
DOI: 10.3390/jcm14165876 · PubMed: PMID 40869701
Perguntas para aprofundar
- Qual a acurácia do ChatGPT 4.0 em questões de avaliação ortopédica com e sem imagens?
- Como o desempenho dos LLMs se compara ao de residentes de ortopedia em avaliações?
- Quais são as limitações atuais dos grandes modelos de linguagem na análise de imagens e documentação clínica em ortopedia?
Mais sobre Escriba ambiental e documentação clínica com IA
- Como o ChatGPT pode ser aplicado na pediatria para melhorar a educação do paciente e a eficiência clínica?
- Sistemas de documentação clínica com inteligência artificial melhoram a eficiência e a qualidade da documentação na prática médica?
- Como a inteligência artificial pode apoiar a avaliação de sintomas e os desfechos relatados pelo paciente em neuro-oncologia?
- Os ensaios clínicos com intervenções de grandes modelos de linguagem em medicina estão sendo reportados de forma completa?
- A IA ambiental para documentação clínica reduz a carga cognitiva e o burnout dos profissionais de saúde?
Todas as perguntas sobre Escriba ambiental e documentação clínica com IA · Todos os temas · Versão em markdown