O que a revisão sistemática sobre modelos de linguagem de grande porte em ortopedia mostra sobre seu desempenho e aplicações?
Resposta curta: A revisão incluiu 68 estudos e mostrou que os modelos de linguagem de grande porte são aplicados em prática clínica, educação, pesquisa e gestão ortopédica, com destaque para o ChatGPT. O desempenho variou amplamente entre estudos, e os autores concluem que esses modelos não substituem profissionais de ortopedia no curto prazo, mas podem atuar como copilotos para aumentar a eficiência.
Resposta
A revisão sistemática buscou sumariar a pesquisa sobre modelos de linguagem de grande porte (LLMs) na ortopedia, campo em que doenças ortopédicas geram carga socioeconômica significativa. Os autores pesquisaram PubMed, Embase e Cochrane Library de 1 de janeiro de 2014 a 22 de fevereiro de 2024, limitando o idioma ao inglês, e avaliaram a qualidade dos estudos incluídos com ferramentas específicas antes da extração e síntese dos dados.
Foram selecionados 68 estudos. A aplicação dos LLMs distribuiu-se em prática clínica (47 estudos, 69%), educação ortopédica (12, 18%), pesquisa científica (8, 12%) e gestão (1, 1%). Apenas 8 estudos (12%) recrutaram pacientes e somente 1 (1%) era um ensaio clínico randomizado de alta qualidade. O ChatGPT foi a ferramenta de LLM mais mencionada.
Houve heterogeneidade considerável na definição, mensuração e avaliação do desempenho dos LLMs entre os estudos. Para tarefas diagnósticas, a acurácia variou de 55% a 93%. Em tarefas de classificação de doenças, a acurácia do ChatGPT com GPT-4 variou de 2% a 100%. Na resposta a questões de exames ortopédicos, as pontuações variaram de 45% a 73,6%, refletindo diferenças entre modelos e seleção de testes.
Os autores concluem que os LLMs não podem substituir profissionais de ortopedia no curto prazo. No entanto, usá-los como copilotos poderia ser uma abordagem potencial para efetivamente aumentar a eficiência do trabalho atualmente. A revisão aponta a necessidade de mais ensaios clínicos de alta qualidade para identificar as melhores aplicações dos LLMs e avançar a ortopedia rumo a maior eficiência e precisão.
O que o estudo mostrou
Revisão sistemática com busca em PubMed, Embase e Cochrane Library de 1 de janeiro de 2014 a 22 de fevereiro de 2024, em inglês, que selecionou 68 estudos. A aplicação dos LLMs envolveu prática clínica (47 estudos, 69%), educação (12, 18%), pesquisa (8, 12%) e gestão (1, 1%). Apenas 8 estudos recrutaram pacientes e 1 era ensaio clínico randomizado de alta qualidade. O ChatGPT foi a ferramenta mais mencionada. A acurácia diagnóstica variou de 55% a 93%; na classificação de doenças, o ChatGPT com GPT-4 variou de 2% a 100%; em exames ortopédicos, as pontuações variaram de 45% a 73,6%.
Limitações
O resumo não informa detalhes sobre as limitações individuais dos estudos incluídos nem sobre a qualidade metodológica além do uso das ferramentas de avaliação. A heterogeneidade considerável na definição, mensuração e avaliação do desempenho dos LLMs limita comparações diretas entre estudos. Poucos estudos recrutaram pacientes e apenas 1 era ensaio clínico randomizado de alta qualidade, restringindo a robustez das conclusões clínicas.
Aplicação no consultório
Os achados sugerem que o ortopedista pode considerar LLMs como ferramentas de apoio (copilotos) para aumentar eficiência em tarefas clínicas, educacionais e administrativas, sem substituir o julgamento profissional. A ampla variação de acurácia entre tarefas e modelos recomenda cautela na incorporação à rotina e na definição de protocolos de uso. Para a gestão do consultório, a revisão reforça a necessidade de avaliar localmente o desempenho das ferramentas antes de adotá-las e de aguardar ensaios clínicos de maior qualidade.
Estudo citado
Examining the Role of Large Language Models in Orthopedics: Systematic Review. Journal of medical Internet research, 2024.
Autores: Zhang C, Liu S, Zhou X, Zhou S, Tian Y, Wang S, Xu N, Li W.
DOI: 10.2196/59607 · PubMed: PMID 39546795
Perguntas para aprofundar
- Qual é o desempenho dos modelos de linguagem de grande porte em tarefas diagnósticas na ortopedia?
- Como os LLMs podem ser usados como copilotos na prática ortopédica sem substituir o profissional?
- Quais lacunas de evidência ainda existem sobre LLMs em ortopedia e o que falta em ensaios clínicos?
Mais sobre LLMs e chatbots clínicos
- Como a inteligência artificial pode transformar a educação, o treinamento e a pesquisa em ortopedia, e quais são suas limitações?
- O uso de inteligência artificial generativa em psiquiatria e saúde mental é seguro e eficaz segundo a literatura?
- Como os grandes modelos de linguagem conversacionais, como o ChatGPT, estão sendo aplicados na saúde e quais são as principais preocupações apontadas pela literatura?
- O ChatGPT e a IA assistiva podem transformar a elaboração de laudos radiológicos estruturados?
- Qual é o papel do ChatGPT na educação e prática urológica e quais são suas limitações?
Todas as perguntas sobre LLMs e chatbots clínicos · Todos os temas · Versão em markdown