Neural network approach for question generation using the Revised Bloom's Taxonomy

Abstract

Questioning is a fundamental part of the learning process. As new content arises and learning it becomes vital to the modern society, question generation becomes a necessary job that requires time and resources to be performed effectively. In this document, we propose a Seq2Seq approach that generates a variety of questions that are relevant to the contexts where they are asked. In order to ensure that the generated questions are diverse, relevant, and valuable to learning situations and environments, we use the Revised Bloom’s Taxonomy (RBT), a learning taxonomy that is oriented to learning objectives and can be used to separate questions based on their required cognitive level. However, neural network models require large collections of data to be trained, and datasets addressing RBT are small and scarce. To address this gap, we designed a question classifier that can be used to label current and future datasets using the guidelines provided by RBT. We employed this classifier to create a labeled dataset, which was then used as training data for our proposed Seq2Seq model. In addition, to cover the different taxonomy levels, we create six different fine-tuned models aimed specifically to each one of RBT cognitive levels. Results show that our approach is promising, guaranteeing a variety of questions for all levels of the taxonomy, surpassing the baseline when measured by BLEU-1, and deemed overall well-written, relevant and understandable, by human evaluators.

Questionar é uma parte fundamental do processo de aprendizagem. À medida que novos conteúdos surgem e se torna vital a sua compreensão para a sociedade moderna, a geração de questões torna-se uma necessidade que, quando feita manualmente, requer tempo e recursos para ser eficaz. Neste documento introduzimos uma abordagem Sequence-To-Sequence (Seq2Seq) que consiste na geração de uma variedade de questões relevantes para os contextos nas quais são colocadas. De forma a garantir que as questões geradas são diversas, relevantes e de valor acrescentado para situações de aprendizagem, utilizámos a Taxonomia de Bloom Revista (TBR), uma taxomia de aprendizagem que é orientada aos objetivos da aprendizagem e pode ser utilizada para separar questões com base no seu nível cognitivo. Contudo, os modelos de redes neuronais precisam de grandes conjuntos de dados para o seu treino e os datasets atuais orientados à TBR são pequenos e escassos. Para colmatar esta falha, desenhámos um classificador de questões a ser usado para categorizar atuais e futuros datasets tendo em conta as orientações da taxonomia. Utilizámos este classificador para criar um dataset posteriormente utilizado para treinar o modelo Seq2Seq proposto. Adicionalmente, para cobrir os diferentes níveis da taxonomia, criámos seis modelos fine-tuned específicamente para cada um dos níveis cognitivos da TBR. Os resultados mostram que a nossa abordagem é promissora, garantindo variedade de questões para todos os níveis da taxonomia, ultrapassado a baseline quando avaliada usando BLEU-1, e considerada por avaliadores humanos, de forma geral, como uma abordagem que produz questões bem escritas, relevantes e compreensíveis.