Unfolding the drivers for academic success: The case of ISCTE-IUL

Abstract

Predicting the success of academic students is a major topic in the higher education research community. This study presents a data mining approach to predict academic success in a Portuguese University called ISCTE-IUL, unveiling the features that better explain failures. A dataset of 10 curricular years for bachelor’s degrees has been analysed. Features’ selection resulted in a characterising set of 68 features, encompassing socio-demographic, social origin, previous education, special statutes and educational path information. Understanding features’ collection timings, distinct predicting was conducted. Based on entrance date, end of the first and the second curricular semesters, three distinct data models were proposed and tested. An additional model was designed for outlier degrees (i.e., a 4-year Bachelor). Six algorithms were tested for modelling. A support vector machines (SVM) model achieved the best overall performance and was selected to conduct a data-based sensitivity analysis. Relevance and impact review allowed extracting meaningful knowledge. This approach unfolded that previous evaluation performance, study gaps and age-related features play a major role in explaining failures at entrance stage. For subsequent stages, current evaluation performance features unveil their predicting power. Also, it should be noted that most of the features’ groups are represented on each model’s most relevant features, revealing that academic success is a combination of a wide range of distinct factors. These and many other findings, such as, age-related features increasing impact at the end first curricular semester, set a baseline for success improvement recommendations, and for easier data mining adoption by Higher Education institutions. Suggested guidelines include to provide study support groups to risk profiles and to create monitoring frameworks. From a practical standpoint, a data-driven decision-making framework based on these models can be used to promote academic success.

O sucesso académico é um dos tópicos mais explorados nos estudos sobre o ensino superior. Este trabalho apresenta uma abordagem de data mining para a previsão do sucesso académico no ISCTE-IUL. Numa abordagem focada no insucesso, são estudados os fatores que explicam estes casos. Neste estudo foram utilizados dados de licenciatura de 10 anos curriculares. Foram analisadas 68 características sociodemográficas, origem social, percurso escolar anterior (ensino secundário), estatutos especiais e percurso académico. Foram adotados diferentes vetores de análise para o primeiro ano curricular (entrada e final dos primeiro e segundo semestres curriculares), dando origem a 3 modelos distintos. Um modelo suplementar foi projetado para cursos especiais. Entre os seis algoritmos de modelação testados, SVM obteve a melhor performance, sendo utilizado para a análise de sensibilidade. O processo de extração de conhecimento indicou que fatores como desempenho anterior, interrupções do percurso educacional e idade, demonstram grande impacto no (in)sucesso num estágio inicial. Nos estágios seguintes, fatores de performance atuais revelam um grande poder de previsão do (in)sucesso. A maior parte dos grupos de características faz-se representar, nas características mais relevantes de cada modelo. Estes e outros resultados, como o aumento do impacto dos fatores relacionadas com a idade no final do segundo semestre curricular, suportam a criação de recomendações institucionais. Por exemplo, criar grupos de apoio ao estudo para perfis de risco e criar ferramentas de monitorização são algumas das diretrizes sugeridas. Em suma, é possível criar uma ferramenta de apoio à decisão, baseada nos modelos apresentados, podendo ser utilizada pelo ISCTE-IUL para promover o sucesso académico.