Constructed response or multiple-choice for evaluating Excel questions?: that is the question

Abstract

Evaluation plays a fundamental role in education, with a view to improve the teaching-learning process, which helps to identify factors that can contribute not only to the teacher in developing pedagogical methods and evaluation tools, but also to an academic evolutionary process of the student, and to achieve the objectives defined in the course or curricular unit. In this dissertation project, it is proposed to develop explanatory models using Data Mining techniques and tools to predict the results obtained by students in performing Excel exams, more specifically, to verify if there is a difference in student performance when performing exams with Constructed Response questions and for exams containing Multiple Choice Question equivalent to the questions of the previous format. The samples were obtained in Advanced Excel exams performed at ISCTE-IUL, to verify the difference in the exams as stated before, and identify which factors influence this, extracting knowledge from them, and using them to decision making (to assist teachers improving the exams’ preparation, either by the format of the question or by the content of each one). Using CRISP-DM methodology, the students' responses were organized in the data set, where it was used to construct 6 predictive models from regression techniques, such as support vector machines and neural networks (other identified during the research), and for training and tests errors calculations. The results show that the SVM model is the one with better performance, indicating the MCQ format as the one in which the students are most likely to succeed.

A avaliação desempenha um papel fundamental na educação, numa perspetiva de melhorar o processo ensino-aprendizagem, pois auxilia na identificação de fatores que possam contribuir na elaboração de métodos pedagógicos e instrumentos de avaliação, e num processo evolutivo académico do aluno, atingindo os objetivos definidos na unidade curricular. Neste projeto de dissertação, propõe-se desenvolver modelos explicativos usando técnicas de Data Mining para avaliar resultados obtidos pelos alunos na realização de exames de Excel Avançado, ou seja, verificar se existe diferença na performance do aluno ao realizar exames compostos por questões abertas e por exames com questões de escolha múltipla equivalentes às do formato anterior. As amostras foram obtidas em exames realizadas no ISCTE-IUL com o objetivo de além de se pretender verificar tal diferença nos exames, identificar quais fatores influenciam para que isto ocorra, e extrair conhecimento a partir destes, conduzindo-os à tomada de decisão (auxiliar os docentes na melhoria na elaboração dos exames, seja pelo formato da questão como pelo conteúdo de cada uma). Seguindo a metodologia CRISP-DM, organizaram-se as respostas dos alunos dando origem ao data set que foi usado para a construção de 6 modelos preditivos a partir de técnicas de regressão, algumas como máquinas de vetores de suporte e redes neuronais (outras identificadas durante a pesquisa), e para cálculo de erros de treinos e testes. Os resultados obtidos mostram que o modelo de máquinas de vetores de suporte é o melhor dos modelos construídos, indicando o formato de exame em múltipla escolha como aquele em que os alunos têm maior probabilidade de acertar.