Modelos de linguagem de grande escala podem ser usados para gerar questões de múltipla escolha para exames médicos?
Resposta curta: Sim, modelos de linguagem de grande escala (LLMs) podem produzir questões de múltipla escolha válidas para exames médicos, conforme revisão sistemática que incluiu oito estudos. No entanto, todos os estudos relataram questões falhas ou inadequadas, exigindo modificações adicionais. Os LLMs podem servir como ferramenta suplementar, mas suas limitações não podem ser ignoradas e mais evidências são necessárias.
Resposta
A revisão sistemática buscou estudos publicados até novembro de 2023 sobre o uso de LLMs na geração de questões de múltipla escolha para exames médicos. Foram incluídos oito estudos, publicados entre abril e outubro de 2023, utilizando principalmente ChatGPT 3.5 e GPT 4. A maioria demonstrou que os LLMs podem produzir questões consideradas competentes e válidas para exames médicos, mas todos os estudos identificaram questões falhas ou inadequadas.
Cinco estudos avaliaram a validade das questões geradas e concluíram que os LLMs podem criar questões válidas, embora com necessidade de ajustes. Três estudos não avaliaram a validade. Um estudo comparou diferentes modelos e outro comparou questões geradas por LLM com questões escritas por humanos. Em todos os casos, algumas questões precisaram de modificações para se qualificarem para uso em exames.
Os autores concluem que os LLMs podem ser usados para escrever questões de múltipla escolha para exames médicos, mas suas limitações não podem ser ignoradas. Mais estudos são essenciais e evidências mais conclusivas são necessárias. Até então, os LLMs podem servir como ferramenta suplementar para a elaboração de exames médicos.
A revisão seguiu as diretrizes PRISMA e avaliou o risco de viés com ferramenta QUADAS-2 adaptada, identificando dois estudos com alto risco de viés. A busca foi realizada apenas na base MEDLINE, o que pode limitar a abrangência. O resumo não informa o número total de questões avaliadas nem o desempenho comparativo entre modelos.
Para o médico que elabora avaliações, os LLMs podem auxiliar na geração de questões, mas exigem revisão criteriosa para garantir validade e adequação. A aplicação clínica ainda é limitada, e a ferramenta deve ser vista como apoio, não substituto do julgamento profissional.
O que o estudo mostrou
Revisão sistemática com busca na MEDLINE até novembro de 2023, incluindo oito estudos publicados entre abril e outubro de 2023. Seis usaram ChatGPT 3.5 e dois GPT 4. Cinco estudos mostraram que LLMs produzem questões válidas para exames médicos; três não avaliaram validade. Um estudo comparou modelos e outro comparou questões de LLM com humanas. Todos os estudos apresentaram questões falhas ou inadequadas, algumas necessitando modificações.
Limitações
O resumo não informa o número total de questões avaliadas, o desempenho comparativo entre modelos, nem detalhes sobre a qualidade das questões humanas. A busca restrita à MEDLINE pode ter omitido estudos relevantes. Dois estudos foram classificados como alto risco de viés. Mais evidências conclusivas são necessárias.
Aplicação no consultório
Médicos que elaboram provas ou materiais educativos podem usar LLMs como ferramenta auxiliar para gerar questões de múltipla escolha, mas devem revisar criticamente cada item para evitar questões falhas. A tecnologia não substitui o julgamento clínico e pedagógico. Na gestão do consultório, pode agilizar a criação de avaliações, mas requer tempo para validação e ajustes.
Estudo citado
Large language models for generating medical examinations: systematic review. BMC medical education, 2024.
Autores: Artsi Y, Sorin V, Konen E, Glicksberg BS, Nadkarni G, Klang E.
DOI: 10.1186/s12909-024-05239-y · PubMed: PMID 38553693
Perguntas para aprofundar
- Qual é a acurácia das questões de múltipla escolha geradas por LLMs em comparação com questões escritas por humanos?
- Quais tipos de erros são mais comuns em questões médicas geradas por modelos de linguagem?
- Como o risco de viés afeta a confiança nos resultados dos estudos sobre LLMs na educação médica?
Mais sobre LLMs e chatbots clínicos
- Como os modelos de linguagem de grande escala (LLMs) estão sendo aplicados na educação médica e quais são suas implicações?
- Sistemas de pacientes virtuais baseados em grandes modelos de linguagem são eficazes para treinar anamnese na educação médica?
- Modelos de linguagem de grande porte (LLMs) são acurados para apoio à decisão clínica em otorrinolaringologia?
- O que a revisão sistemática sobre modelos de linguagem de grande porte em ortopedia mostra sobre seu desempenho e aplicações?
- O que a revisão sistemática assistida por LLM revela sobre a qualidade e os resultados dos estudos de LLMs em medicina clínica?
Todas as perguntas sobre LLMs e chatbots clínicos · Todos os temas · Versão em markdown