Contribution of machine learning to the analysis of grade repetition in Spain: A study based on PISA data.
DOI:
https://doi.org/10.22550/2174-0909.4014Keywords:
PISA, grade repetition, machine learning, contextual variables, multilevel logistic regression, compulsory educationAbstract
Introduction: The rate of grade repetition is excessively high in Spain despite being a controversial measure. In order to obtain evidence to contribute to reducing it in compulsory education, the present work is an in-depth study of the PISA 2018 context indices that are most closely linked to this phenomenon. Method: With the sample of Spanish students (n = 35 943), we used an automatic machine learning method to select and order the predictors, and multilevel logistic regression (students and centres) to quantify the contribution of each one. Results: For each educational stage we obtained the 30 most significant contextual variables, which explain 65.5% of the grade repetition variance in primary education and almost 55.7% in secondary education. Conclusions: The main indicators are principally at student level, which suggests the suitability of psychoeducational interventions based more on individual support than general policies. This gives rise to potentially more efficient and equitable measures than grade repetition, aimed at, for example, the management of learning time or academic/professional guidance, and predictors with specific differential significance at each stage. Methodologically, the study contributes to improving the specification of predictive models.
Downloads
References
Allen, C. S., Chen, Q., Willson, V. L., y Hughes J. N. (2009). Quality of design moderates effects of grade retention on achievement: A metaanalytic, multi-level analysis [La calidad del diseño modera los efectos de la retención de curso sobre el rendimiento: un análisis metaanalítico multinivel]. Educational Evaluation and Policy Analysis, 31 (4), 480-99. https://doi.org/10.3102/0162373709352239
Arroyo, D., Constante-Amores, A., y Asensio, I. (2019). La repetición de curso a debate: un estudio empírico a partir de PISA 2015. Educación XX1, 22 (2), 69-92. https://doi.org/10.5944/educxx1.22479
Arroyo, D., Constante-Amores, A., Castro, M., y Navarro, E. (2024a). Eficacia escolar y alto rendimiento del alumnado español en PISA 2018: un enfoque de machine learning. Educación XX1, 27 (2), 223-251. https://doi.org/10.5944/educxx1.38634
Arroyo, D., Constante-Amores, A., Gil, P., y Carrillo, P. J. (2024b). Student well-being and mathematical literacy performance in PISA 2018: A machine-learning approach [Bienestar de los estudiantes y rendimiento en alfabetización matemática en PISA 2018: un enfoque de machine learning]. Educational Psychology, 44 (3), 340-357. https://doi.org/10.1080/01443410.2024.2359104
Asensio, I., Carpintero, E., Expósito, E., y López, E. (2018). ¿Cuánto oro hay entre la arena? Minería de datos con los resultados de España en PISA 2015. Revista Española de Pedagogía, 76 ( 270), 225- 245. https://doi.org/10.22550/REP76-2-2018-02
Battistin, E., y Schizzerotto, A. (2019). Threat of grade retention, remedial education and student achievement: Evidence from upper secondary schools in Italy [La amenaza de la permanencia en el curso, la educación de recuperación y el rendimiento de los alumnos: datos de los centros de enseñanza secundaria superior en Italia]. Empirical Economics, 56, 651- 678. https://doi.org/10.1007/s00181-018-1443-6
Cameron, A. C., y Windmeijer, F. A. (1997). An R-squared measure of goodness of fit for some common nonlinear regression models [Medida R-cuadrado de la bondad de ajuste de algunos modelos habituales de regresión no lineal]. Journal of Econometrics, 77 (2), 329-342. https://doi.org/10.1016/S0304-4076(96)01818-0
Carabaña, J. (2013). Repetición de curso y puntuaciones PISA, ¿cuál causa cuál? En Instituto Nacional de Evaluación Educativa (Ed.), PISA 2012: Programa para la evaluación de los alumnos, informe español (volumen II: análisis secundario). INEE.
Choi, A., Gil, M., Mediavilla, M., y Valbuena, J. (2018). Predictors and effects of grade repetition [Predictores y efectos de la repetición de curso]. Revista de Economía Mundial, (48), 21-42.
Constante, A., Florenciano, E., Navarro, E., y Fernández, M. (2021). Factores asociados al abandono universitario. Educación XX1, 24 (1), 17- 44. https://doi.org/10.5944/educxx1.26889
Cordero, J., Manchón, C., y Simancas, R. (2014). La repetición de curso y sus factores condicionantes en España. Revista de Educación, (365), 12-37. https://doi.org/10.4438/1988-592XRE-2014-365-263
Ferla, J., Valcke, M., y Cai, Y. (2009). Academic self-efficacy and academic self- concept: Reconsidering structural relationships [Autoeficacia académica y autoconcepto académico: reconsiderando las relaciones estructurales]. Learning and Individual Differences, 19 (4), 499-505. https://doi.org/10.1016/j.lindif.2009.05.004
Fernández-Lasarte, O., Ramos-Díaz, E., y Axpe, I. (2019). Rendimiento académico, apoyo social percibido e inteligencia emocional en la universidad. European Journal of Investigation in Health, 9 (1), 39-49.
Gamazo, A., y Martínez-Abad, F. (2020). An exploration of factors linked to academic performance in PISA 2018 through data mining techniques [Una exploración de los factores vinculados al rendimiento académico en PISA 2018 mediante técnicas de minería de datos]. Frontiers in Psychology, 11. https://doi.org/10.3389/fpsyg.2020.575167
García-Pérez, J., Hidalgo, M., y Robles, J. (2014). Does grade retention affect students’ achievement? Some evidence from Spain [¿Influye la permanencia en un curso en el rendimiento de los alumnos? Algunos datos de España]. Applied Economics, 46 (12), 1373-1392. https://doi.org/10.1080/00036846.2013.872761
Gaviria, J. L., y Castro, M. (2005). Modelos jerárquicos lineales. La Muralla.
González-Nuevo, C., Postigo, Á., García-Cueto, E. Menéndez-Aller, Á., Muñiz, J., Cuesta, M., Álvarez-Díaz, M., y Fernández-Alonso, R. (2023). Grade retention impact on academic self-concept: a longitudinal perspective [Impacto de la permanencia en el curso sobre el autoconcepto académico: una perspectiva longitudinal]. School Mental Health, 15, 600-610. https://doi.org/10.1007/s12310-023-09573-2
Gorostiaga, A., y Rojo-Álvarez, J. L. (2016). On the use of conventional and statistical-learning techniques for the analysis of PISA results in Spain [Sobre el uso de técnicas convencionales y de aprendizaje estadístico para el análisis de los resultados de PISA en España]. Neurocomputing, 171, 625-637. https://doi.org/10.1016/j.neucom.2015.07.001
Hattie, J. (2017). Aprendizaje visible para profesores. Maximizando el impacto en el aprendizaje. Paraninfo.
Hornstra, L., Majoor, M., y Peetsma, T. (2017). Achievement goal profiles and developments in effort and achievement in upper elementary school [Perfiles de objetivos de rendimiento y evolución del esfuerzo y el rendimiento en la escuela primaria superior]. British Journal of Educational Psychology, 87 (4), 606-629. https://doi.org/10.1111/bjep.12167
Ikeda, M., y García, E. (2014). Grade repetition: A comparative study of academic and non-academic consequences [La repetición de curso: un estudio comparativo de las consecuencias académicas y no académicas]. OECD Journal: Economic Studies, (1), 269-315. https://doi.org/10.1787/eco_studies-2013-5k3w65mx3hnx
Jimerson, S. R. (2001). Meta-analysis of grade retention research: new directions for practice in the 21st century [Metaanálisis de la investigación sobre la retención de notas: nuevas orientaciones para la práctica en el siglo XXI]. School Psychology Review, 30 (3), 420-437. http://dx.doi.org/10.1080/02796015.2001.12086124
Jimerson, S. R., y Ferguson, P. (2007). A longitudinal study of grade retention: Academic and behavioral outcomes of retained students through adolescence [Un estudio longitudinal de la retención escolar: resultados académicos y conductuales de los alumnos retenidos durante la adolescencia]. School psychology quarterly, 22 (3), 314.
Kılıç, D., Aşkın, Ö. E., y Öz, E. (2017). Identifying the classification performances of educational data mining methods: A case study for TIMSS [Identificación de los resultados de clasificación de los métodos de extracción de datos educativos: un estudio de caso para TIMSS]. Kuram ve Uygulamada Egitim Bilimleri, 17 (5), 1605- 1623. https://jestp.com/menuscript/index.php/estp/article/view/426
Kiray, S. A., Gok, B., y Bozkir, A. S. (2015). Identifying the factors affecting science and mathematics achievement using data mining methods [Identificación de los factores que afectan al rendimiento en ciencias y matemáticas mediante métodos de minería de datos]. Journal of Education in Science, Environment and Health, 1 (1), 28-48.
Lee, V. E. (2000). Using hierarchical linear modeling to study social contexts: The case of school effects [Utilización de modelos lineales jerárquicos para estudiar contextos sociales: el caso de los efectos escolares]. Educational Psychologist, 35 (2), 125- 141. https://doi.org/10.1207/S15326985EP3502_6
Liu, X., y Ruiz, M. E. (2008). Using data mining to predict K-12 students’ performance on large-scale assessment items related to energy [Utilización de la minería de datos para predecir el rendimiento de los alumnos de primaria y secundaria en evaluaciones a gran escala relacionadas con la energía]. Journal of Research in Science Teaching, 45 (5), 554-573. https://doi.org/10.1002/tea.20232
Lopes, J., Oliveira, C. y Costa, P. (2022). Determinantes escolares y de los estudiantes en el rendimiento lector: un análisis multinivel con estudiantes portugueses. Revista de Psicodidáctica, 27, 29- 37. http://doi.org/10.1016/j.psicod.2021.05.001
López, E., Expósito, E., Carpintero, E., y Asensio, I. (2018). ¿Qué nos dice PISA sobre la enseñanza y el aprendizaje de las ciencias? Una aproximación a través de árboles de decisión. Revista de Educación, (382), 133-161.
López, F., y García, I. (2020). A vueltas con la equidad en educación: una aproximación empírica en la perspectiva de las consecuencias. Universidad Camilo José Cela. http://hdl.handle.net/20.500.12020/901
López, L., González-Rodríguez, D., y Vieira, M. J. (2023). Variables que afectan la repetición en la educación obligatoria en España. Revista Electrónica de Investigación Educativa, 25, 1-15. https://doi.org/10.24320/redie.2023.25.e17.4942
López-Rupérez, F., García-García, I., y Expósito-Casas, E. (2021). La repetición de curso y la graduación en Educación Secundaria Obligatoria en España. Análisis empíricos y recomendaciones políticas. Revista de Educación, (394), 325-353. https://doi.org/10.4438/1988-592X-RE-2021-394-510
Marsh, H. W., Parker, P. D., y Pekrun, R. (2018). Three paradoxical effects on academic self-concept across countries, schools, and students [Tres efectos paradójicos en el autoconcepto académico de países, escuelas y estudiantes]. European Psychologist, 24 (3), 231-242. http://doi.org/10.1027/1016-9040/a000332
Mathys, C., Véronneau, M., y Lecocq, A. (2019). Grade retention at the transition to secondary school: Using propensity score matching to identify consequences on psychosocial adjustment [Retención escolar en la transición a la enseñanza secundaria: utilización del emparejamiento de puntuaciones de propensión para identificar las consecuencias en el ajuste psicosocial]. Journal of Early Adolescence, 39 (1), 97-133. https://doi.org/10.1177/0272431617735651
Martínez-Abad, F., y Chaparro, A. A. (2017). Data-mining techniques in detecting factors linked to academic achievement [Técnicas de minería de datos para detectar factores relacionados con el rendimiento académico]. School Effectiveness and School Improvement, 28 (1), 39-55. https://doi.org/10.1080/09243453.2016.1235591
Martínez-Abad, F., Gamazo, A., y Rodríguez-Conde, M. J. (2020). Educational data mining: Identification of factors associated with school effectiveness in PISA assessment [Minería de datos educativos: identificación de factores asociados a la eficacia escolar en la evaluación PISA]. Studies in Educational Evaluation, 66, 100875. https://doi.org/10.1016/j.stueduc.2020.100875
Nieto-Isidro, S., y Martínez-Abad, F. (2023). Repetición de curso y su relación con variables socioeconómicas y educativas en España. Revista de Educación, 1 (402), 207-236. https://doi.org/10.4438/1988-592X-RE-2023-402-600
Ministerio de Educación y Formación Profesional. (2019). PISA 2018. Programa para la evaluación internacional de los estudiantes. Informe español (vol. I). https://www.educacionyfp.gob.es/inee/evaluaciones-internacionales/pisa/pisa2018/pisa-2018-informes-es.html
Ministerio de Educación y Formación Profesional. (2022). Sistema estatal de indicadores de la educación 2022. https://www.libreria.educacion.gob.es/libro/sistema-estatal-de-indicadores-de-laeducacion-2022_184171/
Niemi, H. (2015). Teacher professional development in Finland: Towards a more holistic approach [Desarrollo profesional del profesorado en Finlandia: hacia un enfoque más holístico]. Psychology, Society and Education, 7 (3), 279-294.
OCDE. (2019). PISA 2018 assessment and analytical framework [Evaluación y marco analítico de PISA 2018]. https://doi.org/10.1787/b25efab8-en
OCDE. (2020). PISA 2018 results (volume VI). Are students ready to thrive in an interconnected world? [Resultados PISA 2018 (volumen VI) ¿Están preparados los estudiantes para prosperar en un mundo interconectado?]. https://www.oecd.org/publications/pisa-2018-resultsvolume-vi-d5f68679-en.htm
Pardo, M., y Ruiz, M. (2013). Análisis de datos en ciencias sociales y de la salud III. Síntesis.
Peixoto, F., Monteiro, V., Mata, L., Sanches, C., Pipa, J., y Navas, L. (2016). To be or not to be retained… That’s the question! Retention, self-esteem, self-concept, achievement goals, and grades [Ser o no ser retenido... ¡Esa es la cuestión! Retención, autoestima, autoconcepto, objetivos de rendimiento y calificaciones]. Frontiers in Psychology, 7, (1550). https://doi.org/10.3389/fpsyg.2016.01550
Raschka, S. (2015). Python machine learning [Aprendizaje automático en Python]. Packt.
Rhodes, J., Thomas, J. M., y Liles, A. R. (2018). Predictors of grade retention among children in an elementary school truancy intervention [Factores que predicen la permanencia en el colegio de los niños que participan en una intervención contra el absentismo escolar en la escuela primaria]. Journal of At-Risk Issues, 21 (1), 1-10.
Rivero, G. (2011). Análisis de datos incompletos en ciencias sociales. CIS.
Rodríguez-Rodríguez, D. (2022). Repetición de curso, rendimiento académico y variables motivacionales en Educación Secundaria Obligatoria: un estudio longitudinal. Psicothema, 34 (3), 429-436. https://doi.org/10.7334/psicothema2021.582
Rosenthal, R., y Rosnow, R. L. (2008). Essentials of behavioral research: Methods and data analysis [Fundamentos de la investigación conductual: métodos y análisis de datos]. McGraw-Hill.
Sarkar, D., Bali, R., y Sharma, T. (2018). Practical machine learning with Python. A problem-solvers guide to building real-world intelligent systems [Aprendizaje automático práctico con Python. Guía de resolución de problemas para crear sistemas inteligentes reales]. Apress.
Schwerdt, G., West, M. R., y Winters, M. A. (2017). The effects of testbased retention on student outcomes over time: Regression discontinuity evidence from Florida [Los efectos de la retención basada en exámenes sobre los resultados de los estudiantes a lo largo del tiempo: pruebas de regresión discontinua en Florida]. Journal of Public Economics, 152, 154-169. https://doi.org/10.1016/j.jpubeco.2017.06.004
Seabra, D. A., y Ferrão, M. E. (2016). Repetência e indisciplina: Evidências de Brasil e Portugal no PISA 2012 [Repetición e indisciplina: datos de Brasil y Portugal en PISA 2012]. Cadernos de Pesquisa, 46 (161), 614-636. https://publicacoes.fcc.org.br/cp/article/view/3669
Tapia, J. G., y Álvarez, C. A. (2022). La repetición de curso en educación secundaria en clave organizacional. Avances en Supervisión Educativa, (38). https://doi.org/10.23824/ase.v0i38.772
Urbina, A. B., y De la Calleja, J. (2017). Breve revisión de aplicaciones educativas utilizando minería de datos y aprendizaje automático. Revista Electrónica de Investigación Educativa, 19 (4), 84-96. https://doi.org/10.24320/redie.2017.19.4.1305
Valbuena, J., Mediavilla, M., Choi, Á., y Gil, M. (2021). Effects of grade retention policies: A literature review of empirical studies applying causal inference [Efectos de las políticas de retención de notas: una revisión bibliográfica de estudios empíricos que aplican la inferencia causal]. Journal of Economic Surveys, 35 (2), 408-451. https://doi.org/10.1111/joes.12406
Van Canegem, T., Van Houtte, M., y Demanet, J. (2021). Grade retention and academic selfconcept: A multilevel analysis of the effects of schools’ retention composition [Retención escolar y autoconcepto académico: un análisis multinivel de los efectos de la composición de la retención escolar]. British Educational Research Journal, 47 (5), 1340-1360. https://doi.org/10.1002/berj.3729
Warren, J. R., Hoffman, E., y Andrew, M. (2014). Patterns and trends in grade retention rates in the United States, 1995-2010 [Patrones y tendencias de las tasas de retención escolar en Estados Unidos, 1995-2010]. Educational Researcher, 43 (9), 433-443. https://dx.doi.org/10.3102/0013189X14563599
Downloads
Published
-
Abstract61
-
PDF (Español)50
-
PDF50
How to Cite
Issue
Section
License

This work is licensed under a Creative Commons Attribution-NonCommercial 4.0 International License.