# O que a revisão sistemática sobre modelos de linguagem de grande porte em ortopedia mostra sobre seu desempenho e aplicações?

> A revisão incluiu 68 estudos e mostrou que os modelos de linguagem de grande porte são aplicados em prática clínica, educação, pesquisa e gestão ortopédica, com destaque para o ChatGPT. O desempenho variou amplamente entre estudos, e os autores concluem que esses modelos não substituem profissionais de ortopedia no curto prazo, mas podem atuar como copilotos para aumentar a eficiência.

Estudo citado: Zhang C, Liu S, Zhou X, Zhou S, Tian Y, Wang S et al.. Examining the Role of Large Language Models in Orthopedics: Systematic Review. Journal of medical Internet research. 2024. DOI: https://doi.org/10.2196/59607. PubMed: https://pubmed.ncbi.nlm.nih.gov/39546795/

## Resposta

A revisão sistemática buscou sumariar a pesquisa sobre modelos de linguagem de grande porte (LLMs) na ortopedia, campo em que doenças ortopédicas geram carga socioeconômica significativa. Os autores pesquisaram PubMed, Embase e Cochrane Library de 1 de janeiro de 2014 a 22 de fevereiro de 2024, limitando o idioma ao inglês, e avaliaram a qualidade dos estudos incluídos com ferramentas específicas antes da extração e síntese dos dados.

Foram selecionados 68 estudos. A aplicação dos LLMs distribuiu-se em prática clínica (47 estudos, 69%), educação ortopédica (12, 18%), pesquisa científica (8, 12%) e gestão (1, 1%). Apenas 8 estudos (12%) recrutaram pacientes e somente 1 (1%) era um ensaio clínico randomizado de alta qualidade. O ChatGPT foi a ferramenta de LLM mais mencionada.

Houve heterogeneidade considerável na definição, mensuração e avaliação do desempenho dos LLMs entre os estudos. Para tarefas diagnósticas, a acurácia variou de 55% a 93%. Em tarefas de classificação de doenças, a acurácia do ChatGPT com GPT-4 variou de 2% a 100%. Na resposta a questões de exames ortopédicos, as pontuações variaram de 45% a 73,6%, refletindo diferenças entre modelos e seleção de testes.

Os autores concluem que os LLMs não podem substituir profissionais de ortopedia no curto prazo. No entanto, usá-los como copilotos poderia ser uma abordagem potencial para efetivamente aumentar a eficiência do trabalho atualmente. A revisão aponta a necessidade de mais ensaios clínicos de alta qualidade para identificar as melhores aplicações dos LLMs e avançar a ortopedia rumo a maior eficiência e precisão.

## O que o estudo mostrou

Revisão sistemática com busca em PubMed, Embase e Cochrane Library de 1 de janeiro de 2014 a 22 de fevereiro de 2024, em inglês, que selecionou 68 estudos. A aplicação dos LLMs envolveu prática clínica (47 estudos, 69%), educação (12, 18%), pesquisa (8, 12%) e gestão (1, 1%). Apenas 8 estudos recrutaram pacientes e 1 era ensaio clínico randomizado de alta qualidade. O ChatGPT foi a ferramenta mais mencionada. A acurácia diagnóstica variou de 55% a 93%; na classificação de doenças, o ChatGPT com GPT-4 variou de 2% a 100%; em exames ortopédicos, as pontuações variaram de 45% a 73,6%.

## Limitações

O resumo não informa detalhes sobre as limitações individuais dos estudos incluídos nem sobre a qualidade metodológica além do uso das ferramentas de avaliação. A heterogeneidade considerável na definição, mensuração e avaliação do desempenho dos LLMs limita comparações diretas entre estudos. Poucos estudos recrutaram pacientes e apenas 1 era ensaio clínico randomizado de alta qualidade, restringindo a robustez das conclusões clínicas.

## Aplicação no consultório

Os achados sugerem que o ortopedista pode considerar LLMs como ferramentas de apoio (copilotos) para aumentar eficiência em tarefas clínicas, educacionais e administrativas, sem substituir o julgamento profissional. A ampla variação de acurácia entre tarefas e modelos recomenda cautela na incorporação à rotina e na definição de protocolos de uso. Para a gestão do consultório, a revisão reforça a necessidade de avaliar localmente o desempenho das ferramentas antes de adotá-las e de aguardar ensaios clínicos de maior qualidade.

## Perguntas para aprofundar

- Qual é o desempenho dos modelos de linguagem de grande porte em tarefas diagnósticas na ortopedia?
- Como os LLMs podem ser usados como copilotos na prática ortopédica sem substituir o profissional?
- Quais lacunas de evidência ainda existem sobre LLMs em ortopedia e o que falta em ensaios clínicos?

Tema: LLMs e chatbots clínicos. Página: https://alphadoctor.com.br/ciencia/ia-llm-chatbots/o-que-a-revisao-sistematica-sobre-modelos-de-linguagem-de-grande-porte-em/

Conteúdo educacional para profissionais de saúde, baseado no resumo do artigo citado. Não substitui a leitura do estudo original nem avaliação clínica.