An instrument to evaluate the impact of the higher education accreditation system: Validation through exploratory factor analysis.
DOI:
https://doi.org/10.22550/REP81-3-2023-06Keywords:
measurement instrument, evaluation of impact, accreditation, higher education, exploratory factor analysisAbstract
Introduction: interest in evaluating the improvements resulting from external evaluation processes in higher education has revealed that there is a lack of objective instruments available for this purpose. Consequently, this study presents the design and validation of an instrument for evaluating the improvement effect of the accreditation system of Spanish university degrees. Methodology: a 108-item questionnaire was prepared and was applied to a sample of 1964 subjects from different university groups (students, teachers, management, etc.). Its reliability and construct validity were analysed using exploratory factor analysis (EFA). Results: analysis of the instrument’s technical characteristics showed high reliability, both overall and at the dimensional level, with Cronbach’s α and McDonald’s ω being greater than .95. The EFA identified eight factors that contained the 105 items finally included, explaining 77.37% of the variance in Discussion and conclusions: these results all indicate that the instrument designed is reliable and valid, with a solid multidimensional structure that makes it possible to evaluate the impact of the accreditation system on various aspects of Spanish university degrees.
Downloads
References
Cetzal, R. S. P., Delgado, M. L., y Reche, P. C. (2012). El poder en las organizaciones escolares… todos lo buscan, pocos lo consiguen. Revista Educación y Ciencia, 2 (40), 33-46.
Díaz, F., Cuevas, M., Fernández, M., Gijón, J., Lizarte, E. J., Ibáñez, P., El Homrani, M., Ávalos, I., y Rodríguez, R. J. (2019). Liderazgo y calidad en la educación superior. EDMETIC. Revista de Educación Mediática y TIC, 8 (2), 52-72. https://doi.org/10.21071/edmetic.v8i2.12120
Egido, I., Fernández, F. J., y Fernández, M. J. (2016). Evaluation of the impact of quality management systems on school climate [Evaluación del impacto de los sistemas de gestión de calidad en el clima escolar]. International Journal of Educational Management, 30 (4), 474-492. https://doi.org/10.1108/IJEM-01-2015-0010
ENQA, ESU, EUA, EURASHE, EI, BUSINESSEUROPE, y EQAR. (2015). Standards and guidelines for quality assurance in the European Higher Education Area (ESG) [Criterios y directrices para la garantía de calidad en el Espacio Europeo de Educación Superior]. European Association of Institutions in Higher Education. https://www.enqa.eu/wp-content/uploads/2015/11/ESG_2015.pdf
EQAR. (s.f.). European Quality Assurance Register for Higher Education [Registro Europeo de Garantía de la Calidad para la Educación Superior]. https://www.eqar.eu
Fernández-Cruz, F. J., Egido, I., y Carballo, R. (2016). Impact of quality management systems on teaching-learning processes [El impacto de los sistemas de gestión de Calidad en los procesos de enseñanza-aprendizaje]. Quality Assurance in Education, 24 (3), 394-415. https://doi.org/10.1108/QAE-09-2013-0037
Fernández-Díaz, M. J. (2013). Evaluación de impacto para un cambio sostenible en las organizaciones educativas. Revista Española de Pedagogía, 71 (254), 119-138. https://reunir.unir.net/handle/123456789/3777
Fernández-Díaz, M. J., Rodríguez-Mantilla, J. M., y Fontana-Abad, M. (2016). Impact of implementation of quality management systems on internal communications and external relations at schools [Impacto de la implementación de sistemas de gestión de calidad las comunicaciones internas y en las relaciones externas de los centros escolares]. Total Quality Management & Business Excellence, 27 (1), 97-110. https://doi.org/10.1080/14783363.2014.954365
Ferreiro, V. V., Brito, J., y Garambullo, A. I. (2020). Modelo de gestión de calidad como estrategia de planeación en procesos de acreditaciones internacionales. RIDE. Revista Iberoamericana para la Investigación y el Desarrollo Educativo, 10 (20), 1-27. https://doi.org/10.23913/ride.v10i20.606
Galindo, M. A. (s. f.). Agencia de calidad: ANECA [presentación]. https://www.farmaceuticos.com/wp-content/uploads/2019/12/2014-PresentacionFarmacia-ANECA-Nov.ppt
Guzmán-Puentes, S., y Guevara-Ramírez, R. (2022). Configuración de la acreditación de la calidad como campo de estudio. Una revisión sistemática de la investigación internacional (1998-2016). RIES. Revista Iberoamericana de Educación Superior, 13 (36), 160-180. https://doi.org/10.22201/iisue.20072872e.2022.36.1189
Hair, J. F., Black, W. C., Babin, B. J., y Anderson, R. E. (2014). Multivariate data análisis [Análisis multivariante de datos] (7.ª ed.). Pearson Education.
Ibáñez-López. F. J., Hernández-Pina, F., y Monroy-Hernández, F. (2020). Análisis del conocimiento y la percepción del profesorado sobre los procesos de evaluación y acreditación de titulaciones universitarias en educación. Bordón. Revista de Pedagogía, 72 (4), 61-78. https://doi.org/10.13042/Bordon.2020.79417
Izquierdo, I., Olea, J., y Abad, F. J. (2014). Exploratory factor analysis in validation studies: Uses and recommendations [Análisis factorial exploratorio en estudios de validación: usos y recomendaciones]. Psicothema, 26 (3), 395-400. https://doi.org/10.7334/psicothema2013.349
Ley Orgánica 2/2023, de 22 de marzo, del Sistema Universitario. Boletín Oficial del Estado, núm. 70, de 23 de marzo de 2023. https://www.boe.es/eli/es/lo/2023/03/22/2/con
López-Aguado, M., y Gutiérrez-Provecho, L. (2019). Cómo realizar e interpretar un análisis factorial exploratorio utilizando SPSS. REIRE. Revista d’Innovació i Recerca en Educació, 12 (2), 1-14. http://doi.org/10.1344/reire2019.12.227057
Lorenzo, M. (2011). Organización de centros educativos. Modelos emergentes. La Muralla.
Márquez, E., y Zeballos, Z. R. (2017). El impacto de la acreditación en la mejora de la calidad de los programas educativos que ofrece la Universidad Autónoma de Tamaulipas: un estudio de caso. Revista Iberoamericana de Evaluación Educativa, 10 (2), 65-83. https://doi.org/10.15366/riee2017.10.2.004
Martínez, J. E., Tobón, S., y Romero, A. (2017). Problemáticas relacionadas con la acreditación de la calidad de la educación superior en América Latina. Revista Innovación Educativa, 17 (73), 79-96. http://repositoriodigital.ipn.mx/handle/123456789/23409
Martínez, J. E., y Tobón, S. (2019). Cuestionario de percepción sobre el impacto de los procesos de acreditación de la calidad educativa en instituciones de educación superior. Conrado, 15 (70), 242-247. https://conrado.ucf.edu.cu/index.php/conrado/article/view/1132
Martínez, J. E., Ponce, S., Moreno, I., y Zamora, L. (2022). Evaluación y acreditación en una universidad pública de México: experiencias docentes. Revista Venezolana de Gerencia, 27 (Especial 7), 443-459. https://doi.org/10.52080/rvgluz.27.7.29
Martínez-Iñiguez, J. E., Tobón, S., López Ramírez, E., y Manzanilla-Granados, H. M. (2020). Calidad educativa: un estudio documental desde una perspectiva socioformativa. Revista Latinoamericana de Estudios Educativos, 16 (1), 233- 258. https://revistasojs.ucaldas.edu.co/index.php/latinoamericana/article/view/2296
Martínez-Zarzuelo, A., Rodríguez-Mantilla, J. M., y Fernández-Díaz, M. J. (2022). Improvements in climate and satisfaction after implementing a quality management system in education [Mejoras en el clima y en la satisfacción tras implementar un sistema de gestión de calidad en educación]. Evaluation and Program Planning, 94, 102119. https://doi.org/10.1016/j.evalprogplan.2022.102119
Matarranz, M. (2021). El Espacio Europeo de Educación Superior y su sello de calidad. Revista Española de Educación Comparada, (37), 153- 173. https://doi.org/10.5944/reec.37.2021.27728
Monarca, H., Thoilliez, B., Garrido, R., y Prieto, M. (2018). Percepciones del profesorado sobre el seguimiento y la evaluación de la calidad en la Universidad Autónoma de Madrid. En H. Monarca, y M. Prieto (coords.), Calidad de la educación superior en Iberoamérica (pp. 123-161). Dykinson.
Parra, K. L., Vargas, Y., y Soto, J. A. (2019). Acreditación en instituciones de educación superior. Experiencias. Logros y retos. Qartuppi.
Real Decreto 1112/2015, de 11 de diciembre, por el que se aprueba el Estatuto del Organismo Autónomo Agencia Nacional de Evaluación de la Calidad y Acreditación. Boletín Oficial del Estado, núm. 302, de 18 de diciembre de 2015, pp. 119063 a 119081. https://www.boe.es/eli/es/rd/2015/12/11/1112
Real Decreto 822/2021, de 28 de septiembre, por el que se establece la organización de las enseñanzas universitarias y del procedimiento de aseguramiento de su calidad. Boletín Oficial del Estado, núm. 233, de 29 de septiembre de 2021, pp. 119537 a 119578. https://www.boe.es/buscar/act.php?id=BOE-A-2021-15781
Resolución de 7 de marzo de 2018, de la Secretaría General de Universidades, por la que se dictan instrucciones sobre el procedimiento para la acreditación institucional de centros de universidades públicas y privadas. Boletín Oficial del Estado, núm. 63, de 13 de marzo de 2018. https://www.boe.es/eli/es/res/2018/03/07/(1)/con
Resolución de 3 de marzo de 2022, de la Secretaría General de Universidades, por la que se dictan instrucciones sobre el procedimiento para la acreditación institucional de centros de universidades públicas y privadas, y se publica el Protocolo para la certificación de sistemas internos de garantía de calidad de los centros universitarios y el Protocolo para el procedimiento de evaluación de la renovación de la acreditación institucional de centros universitarios, aprobados por la Conferencia General de Política Universitaria. Boletín Oficial del Estado, núm. 58, de 9 de marzo de 2022. https://www.boe.es/eli/es/res/2022/03/03/(2)
Rodríguez, D. (2006). Dimensión institucional, cultural y micropolítica: claves para entender las organizaciones educativas. Revista Electrónica Interuniversitaria de Formación del Profesorado, 9 (1), 1-14.
Rodríguez-Mantilla, J. M., Fernández-Cruz, F. J., y Fernández-Díaz, M. J. (2021a). Evaluación para la innovación y mejora de centros educativos. Editorial Síntesis.
Rodríguez-Mantilla, J. M., León, V., y Martínez-Zarzuelo, A. (2021b). ISO 9001 standard and their impact on school management and planning and support systems. Comparative study on perception between heads-teachers [El estándar ISO 9001 y su impacto en los sistemas de gestión, planificación y soporte de los centros escolares. Estudio comparativo sobre la percepción entre directores y profesores]. The TQM Journal, 33 (6), 1610-1630. https://doi.org/10.1108/TQM-04-2020-0071
Sarasola, M., Delgado, P., y Lasida, J. (2015). El impacto de la implementación del sistema de calidad educativa PCI a través de la perspectiva del profesorado. Páginas de Educación, 8 (2), 121-143. https://revistas.ucu.edu.uy/index.php/paginasdeeducacion/article/view/695
Smart-Qual. (2022). Quality indicator scoreboard (QIS). Quality indicator set & structured catalogue [Cuadro de indicadores de calidad (QIS). Conjunto de indicadores de calidad y catálogo estructurado]. Smart-Qual. https://smartqual.eu/wp-content/uploads/2022/04/QIS-indicatorset-and-catalog-IO1-SMARTQUAL-2.pdf
Thurler, M. G., y Maulini, O. (2010). La organización del trabajo escolar: una oportunidad para repensar la escuela. Graó.
Torres-Salas, M. I., García-Rojas, A., y Alvarado-Arguedas, A. (2018). La evaluación externa: un mecanismo para garantizar la calidad de la educación superior en Costa Rica. Revista Electrónica Educare, 22 (2), 1-16. https://dx.doi.org/10.15359/ree.22-2.16
Trujillo, J. M. (2007). Análisis interno de la organización: liderazgo y micropolítica en un centro educativo. Innovación educativa, 17, 37-52. http://hdl.handle.net/10347/4361
Ulker, N., y Bakioglu, A. (2018). An international research on the influence of accreditation on academic quality [Investigación internacional sobre la influencia de la acreditación en la calidad académica]. Studies in Higher Education, 44 (9), 1507-1518. https://doi.org/10.1080/03075079.2018.1445986
Vázquez, J. A. (2015). Nuevos escenarios y tendencias universitarias. Revista de Investigación Educativa, 33 (1), 13-26. http://dx.doi.org/10.6018/rie.33.1.211501
Weaver, S. S. (2015). Measurement theory [Teoría de la medición]. En W. Donsbach (Ed.), The international encyclopedia of communication [Enciclopedia internacional de comunicación]. Wiley Online Library. http://dx.doi.org/10.1002/9781405186407.wbiecm016.pub3
Downloads
Published
-
Abstract54
-
PDF (Español)29
-
PDF29
How to Cite
Issue
Section
License
This work is licensed under a Creative Commons Attribution-NonCommercial 4.0 International License.
Submit Article
Language
Information
Keywords
