Please use this identifier to cite or link to this item:
http://hdl.handle.net/10071/22050
Author(s): | Correia, Gonçalo Fernando Ferreira da Costa Durão |
Advisor: | Ribeiro, Ricardo Daniel Santos Faro Marques Rodrigues, Hugo Patinho |
Date: | 11-Dec-2020 |
Title: | Neural network approach for question generation using the Revised Bloom's Taxonomy |
Reference: | Correia, G. F. F. da C. D. (2020). Neural network approach for question generation using the Revised Bloom's Taxonomy [Dissertação de mestrado, Iscte - Instituto Universitário de Lisboa]. Repositório Iscte. http://hdl.handle.net/10071/22050 |
Keywords: | Question generation Revised Bloom’s Taxonomy Question classification Geração de questões Taxonomia de Bloom Revista Classificação de questões |
Abstract: | Questioning is a fundamental part of the learning process. As new content arises and learning
it becomes vital to the modern society, question generation becomes a necessary job that requires
time and resources to be performed effectively. In this document, we propose a Seq2Seq
approach that generates a variety of questions that are relevant to the contexts where they are
asked. In order to ensure that the generated questions are diverse, relevant, and valuable to
learning situations and environments, we use the Revised Bloom’s Taxonomy (RBT), a learning
taxonomy that is oriented to learning objectives and can be used to separate questions based
on their required cognitive level. However, neural network models require large collections
of data to be trained, and datasets addressing RBT are small and scarce. To address this gap,
we designed a question classifier that can be used to label current and future datasets using the
guidelines provided by RBT. We employed this classifier to create a labeled dataset, which was
then used as training data for our proposed Seq2Seq model. In addition, to cover the different
taxonomy levels, we create six different fine-tuned models aimed specifically to each one of
RBT cognitive levels. Results show that our approach is promising, guaranteeing a variety of
questions for all levels of the taxonomy, surpassing the baseline when measured by BLEU-1,
and deemed overall well-written, relevant and understandable, by human evaluators. Questionar é uma parte fundamental do processo de aprendizagem. À medida que novos conteúdos surgem e se torna vital a sua compreensão para a sociedade moderna, a geração de questões torna-se uma necessidade que, quando feita manualmente, requer tempo e recursos para ser eficaz. Neste documento introduzimos uma abordagem Sequence-To-Sequence (Seq2Seq) que consiste na geração de uma variedade de questões relevantes para os contextos nas quais são colocadas. De forma a garantir que as questões geradas são diversas, relevantes e de valor acrescentado para situações de aprendizagem, utilizámos a Taxonomia de Bloom Revista (TBR), uma taxomia de aprendizagem que é orientada aos objetivos da aprendizagem e pode ser utilizada para separar questões com base no seu nível cognitivo. Contudo, os modelos de redes neuronais precisam de grandes conjuntos de dados para o seu treino e os datasets atuais orientados à TBR são pequenos e escassos. Para colmatar esta falha, desenhámos um classificador de questões a ser usado para categorizar atuais e futuros datasets tendo em conta as orientações da taxonomia. Utilizámos este classificador para criar um dataset posteriormente utilizado para treinar o modelo Seq2Seq proposto. Adicionalmente, para cobrir os diferentes níveis da taxonomia, criámos seis modelos fine-tuned específicamente para cada um dos níveis cognitivos da TBR. Os resultados mostram que a nossa abordagem é promissora, garantindo variedade de questões para todos os níveis da taxonomia, ultrapassado a baseline quando avaliada usando BLEU-1, e considerada por avaliadores humanos, de forma geral, como uma abordagem que produz questões bem escritas, relevantes e compreensíveis. |
Degree: | Mestrado em Engenharia Informática |
Peerreviewed: | yes |
Access type: | Open Access |
Appears in Collections: | T&D-DM - Dissertações de mestrado |
Files in This Item:
File | Description | Size | Format | |
---|---|---|---|---|
master_goncalo_durao_correia.pdf | 2,08 MB | Adobe PDF | View/Open |
Items in DSpace are protected by copyright, with all rights reserved, unless otherwise indicated.