Construction and validation of an instrument for evaluating the quality of university service-learning projects using the Delphi method.

Authors

  • Elena López de Arana Prado Universidad Autónoma de Madrid.
  • Luis Fernando Martínez Muñoz Universidad Autónoma de Madrid.
  • María Teresa Calle Molina Universidad Autónoma de Madrid.
  • María Luisa Santos Pastor Universidad Autónoma de Madrid.
  • Raquel Aguado Gómez Universidad Autónoma de Madrid.

DOI:

https://doi.org/10.22550/REP81-2-2023-07

Keywords:

service-learning, Delphi method, evaluation, instrument, quality of programs, higher education

Abstract

Service-learning has spread significantly in higher education in recent decades. Its effects in the academic field (students and teachers) and in the community (disadvantaged groups at risk of social exclusion and socio-educational partners) are backed by research. However, few works have considered the evaluation of these projects, and there are few instruments available for guiding their development and for assessing their quality. The aim of this study is to develop criteria to evaluate university service-learning projects. To do so, we used the Delphi method with three rounds of expert consultation. The result is a university service-learning, indicator matrix with 9 dimensions and 43 indicators. We conclude that, as well as evaluating the quality of service-learning projects, this instrument could also be valid for validating social innovation from the educational sphere. The principal limitations to overcome are the still-existing welfare perspective and difficulties with involving the recipients of the service.

Downloads

Download data is not yet available.

Author Biographies

Elena López de Arana Prado, Universidad Autónoma de Madrid.

Associate Professor at the Universidad Autónoma de Madrid. PhD in Humanities and Education in the Entities of the Future from the Universidad de Mondragon. Her lines of research focus on improvement processes in educational centres, teacher training (practicum, ICTs, etc.), social justice and service-learning. She has led several projects on university service-learning. https://orcid.org/0000-0002-6962-5469

Luis Fernando Martínez Muñoz, Universidad Autónoma de Madrid.

Associate Professor at the Department of Physical Education, Sport and Human Motricity of the Universidad Autónoma de Madrid. His field of research is related to formative assessment and active methodologies in Physical Education, with special interest in service-learning and the development of physical-sports activities in the natural environment. He is currently a member of RIADIS, REEFNAT and REFyCE. https://orcid.org/0000-0001-5209-7527

María Teresa Calle Molina, Universidad Autónoma de Madrid.

Assistant Professor at the Department of Physical Education, Sport and Human Motricity at the Universidad Autónoma de Madrid. Her lines of research focus on the history of sport and Olympism, physical activity and people with intellectual disabilities and service-learning. Member of the National Research Network on ServiceLearning in Physical Activity and Sport for Social Inclusion (RIADIS). https://orcid.org/0000-0001-7877-8283

María Luisa Santos Pastor, Universidad Autónoma de Madrid.

Lecturer at the Universidad Autónoma de Madrid. PhD in Physical Education from the Universidad de Valladolid. Her field of research is related to university service-learning, formative assessment and active methodologies, as well as in the field of physical activities in the natural environment. She has supervised six doctoral theses. She coordinates the Research Network on Service-Learning in Physical Activity and Sport for Social Inclusion of the Consejo Superior de Deportes (Call 2019, 2020 and 2022). https://orcid.org/0000-0002-4985-0810

Raquel Aguado Gómez, Universidad Autónoma de Madrid.

PhD in Physical Activity and Sport Sciences. She works in the Department of Physical Education, Sport and Human Motricity of the Faculty of Teacher Training and Education of the Universidad Autónoma de Madrid. She is a member of the GEDAF Research Group, of the Research Network on Service-Learning in Physical Activity and Sport for Social Inclusion, and of the team of the UNESCO Chair in Education for Social Justice. https://orcid.org/0000-0002-7943-7744

References

Alonso-Sáez, I., Arandia, M., Martínez, I., Martínez, B., y Gezuraga, M. (2013). El Aprendizaje-Servicio en la innovación universitaria. Una experiencia realizada en la formación de educadoras y educadores sociales. RIEJS, Revista Internacional de Educación para la Justicia Social, 2 (2), 195-216. http://www.rinace.net/riejs/numeros/vol2-num2/art10.pdf

Álvarez-Castillo, J. L., Martínez-Usarralde, M. J., González González, H., y Buenestado Fernández, M. (2017). El aprendizaje-servicio en la formación del profesorado de las universidades españolas. Revista Española de Pedagogía, 75 (267), 199-217. https://doi.org/10.22550/REP75-2-2017-02

Ash, S. L., Clayton, P. H., y Atkinson, M. P. (2005). Integrating reflection and assessment to capture and improve student learning [Integrar la reflexión y la evaluación para captar y mejorar el aprendizaje de los estudiantes]. Michigan Journal of Community Service Learning, 49-60. http://hdl.handle.net/2027/spo.3239521.0011.204

Batlle, R. (2020). Aprendizaje-servicio. Compromiso social en acción. Santillana.

Billig, S. H., y Waterman, A. S. (2014). Studying service-learning: Innovations in education research methodology [Estudiar el aprendizaje-servicio: innovaciones en la metodología de la investigación educative]. Routledge.

Bringle, R. G., y Clayton, P. H. (2021). Civic learning: A sine qua non of service learning [Aprendizaje cívico: una condición sine qua non del Aprendizaje-Servicio]. Front. Educ, 6, 606443. http://doi.org/10.3389/feduc.2021.606443

Carrington, S., Mercer, K. L., Iyer, R., y Selva, R. (2015). The impact of transformative learning in a critical service-learning program on teacher development: building a foundation for inclusive teaching [El impacto del aprendizaje transformador en un programa de aprendizaje-servicio crítico en el desarrollo del profesorado: construyendo una base para la enseñanza inclusiva]. Reflective Practice, 16 (1), 61-72. http://doi.org/10.1080/14623943.2014.969696

Case, L., Schram, B., Jung, J., Leung, W., y Yun, J. (2020). A meta-analysis of the effect of adapted physical activity service-learning programs on college student attitudes toward people with disabilities [Un meta-análisis del efecto de los programas de aprendizaje-servicio de actividad física adaptada sobre las actitudes de los estudiantes universitarios hacia las personas con discapacidad.]. Disability and Rehabilitation, 43 (21), 2990-3002. http://doi.org/10.1080/09638288.2020.1727575

Chambers D., y Lavery, S. (2021). International service learning: benefits, challenges and experiences of pre-service teachers [Aprendizaje servicio internacional: beneficios, retos y experiencias de los profesores en formación.]. Asia Pacific Journal of Teacher Education, 1-17. http://doi.org/10.1080/1359866X.2022.2050355

Chiva-Bartoll, O., y Fernández-Río, J. (2021). Advocating for Service-Learning as a pedagogical model in Physical Education: towards an activist and transformative approach [Abogando por el Aprendizaje-Servicio como modelo pedagógico en Educación Física: hacia un enfoque activista y transformador]. Physical Education and Sport Pedagogy, 27 (5), 545-558. http://doi.org/10.1080/17408989.2021.1911981

Choo, J., Kong, T. Y., Ong, F., Shiuan, T. S., Nair, S., Ong, J., y Chan A. (2019). What works in service-learning? Achieving civic outcomes, academic connection, career preparation and personal growth in students at Ngee Ann Polytechnic [¿Qué funciona en el aprendizaje-servicio? Lograr resultados cívicos, conexión académica, preparación profesional y crecimiento personal en los estudiantes del Politécnico de Ngee Ann]. Michigan Journal of Community Service Learning, 25 (2), 95-132. http://doi.org/10.3998/mjcsloa.3239521.0025.208

Clark-Taylor, A. (2017). Developing critical consciousness and social justice self-efficacy: Lessons from feminist community engagement student narratives [Desarrollar la conciencia crítica y la autoeficacia para la justicia social: lecciones de las narrativas de los estudiantes de compromiso comunitario feminista]. Journal of Higher Education Outreach and Engagement, 21 (4), 81-116. http://bit.ly/2Xh5Y7h

Conner, J., y Erickson, J. (2017). When does service-learning work? Contact theory and service-learning courses in higher education [¿Cuándo funciona el aprendizaje-servicio? Teoría del contacto y cursos de aprendizaje-servicio en la enseñanza superior]. Michigan Journal of Community Service Learning, 23, 53-65. http://doi.org/10.3998/mjcsloa.3239521.0023.204

Darby, A., y Willingham, L. (2022). Faculty motivation in service-learning based on expectancy x value theory [Motivación del profesorado en el aprendizaje-servicio basada en la teoría de la expectativa x el valor]. Journal of Experiential Education, 45 (3). http://doi.org/10.1177/10538259211058292

De Castro, A., Amaris, M. C., y Guerra, D. (2017). A manera de conclusión: experiencia del aprendizaje-servicio en la Universidad del Norte. En A. de Castro y E. Domingues (Eds.), Transformar para Educar 4. Aprendizaje-Servicio (pp. 241- 264). Universidad del Norte.

Deeley, S. J. (2016). El aprendizaje-servicio en educación superior: Teoría, práctica y perspectiva crítica. Narcea.

Dolgon, C., Mitchell, T. D., y Eatman, T. K. (2017). The Cambridge handbook of service learning and community engagement [Manual Cambridge de aprendizaje a través del servicio y compromiso con la comunidad]. Cambridge University Press.

Escofet, A., y Rubio, L. (2017). El valor de la reflexión en el aprendizaje-servicio. En L. Rubio y A. Escofet (Eds.), Aprendizaje-servicio (ApS): claves para su desarrollo en la universidad (pp. 83-96). Octaedro.

European Union. (2013). Guide on social innovation [Guía sobre innovación social]. http://doi.org/10.2776/72046

Furco, A., y Norvell, K. (2019). What is service-learning? Making sense of the pedagogy and practice [¿Qué es el aprendizaje-servicio? Dar sentido a la pedagogía y a la práctica]. En P. Aramburuzabala, L. McIlrath y H. Opazo (Eds.), Embedding service-learning in European higher education. Developing a culture of civic engagement (pp. 13-36). Routledge.

Galván, C., Meaney, K., y Gray, V. (2018). Examining the reciprocal nature of service-learning for underserved students and preservice teachers [Examinar la naturaleza recíproca del aprendizaje-servicio para los estudiantes desatendidos y los profesores en formación]. Journal of Teaching in Physical Education, 37 (4), 363-372. http://doi.org/10.1123/jtpe.2018-0051

García-Gutiérrez, J., y Ruiz-Corbella, M. (2022). La idea de universidad desde un enfoque humanista: la contribución del aprendizaje-servicio como filosofía de la educación superior. Teoría de la Educación. Revista Interuniversitaria, 34 (2), 159-176. http://doi.org/10.14201/teri.27887

García-Romero, D., y Lalueza, J. L. (2019). Procesos de aprendizaje e identidad en aprendizaje-servicio universitario: una revisión teórica. Educación XXI, 22 (2), 45-68. https://doi.org/10.5944/educxx1.22716

George, C. E., y Trujillo, L. (2018). Aplicación del método Delphi modificado para la validación de un cuestionario de incorporación de las TIC en la práctica docente. Revista Iberoamericana de Evaluación Educativa, 11 (1), 113-135. http://doi.org/10.15366/riee2018.11.1.007

GREM (2015). Rúbrica para la autoevaluación y la mejora de los proyectos de aprendizaje-servicio. Fundació Jaume Bofill. https://bit.ly/33FhY2F

Liesa-Orus, M., Cored, S., Latorre, C., Vázquez, S., y Revilla, A. (2019). El impacto de la mentoría entre profesores universitarios en programas de Aprendizaje-Servicio. Universidad de Zaragoza.

López-de-Arana Prado, E., Aramburuzabala Higuera, P., y Opazo Carvajal, H. (2020). Diseño y validación de un cuestionario para la autoevaluación de experiencias de aprendizaje-servicio universitario. Educación XX1, 23 (1), 319-347. https://doi.org/10.5944/educXX1.23834

López-Gómez, E. (2018). El método Delphi en la investigación actual en educación: una revisión teórica y metodológica. Educación XX1, 21 (1), 17-40. http://doi.org/10.5944/educxx1.20169

Lorenzo, M., Ferraces-Otero, M. J., Pérez, C., y Naval, C. (2019). El profesorado universitario ante el aprendizaje-servicio: variables explicativas. Revista de Educación, 386, 37-61. http://doi.org/10.4438/1988-592X-RE-2019-386-426

Lucas, S. (2021). Aprendizaje-servicio en la universidad. Desarrollo de proyectos emprendedores socialmente responsables con la comunidad. Dykinson. https://www.dykinson.com/libros/aprendizaje-servicio-en-la-universidad/9788413779133

MacPhail, A., y Sohun, R. (2019). Interrogating the enactment of a service-learning course in a physical education teacher education programme: Less is more? [Analizando la puesta en práctica de un curso de aprendizaje-servicio en un programa de formación de profesores de educación física: ¿Menos es más?]. European Physical Education Review, 25 (3), 876-892. http://doi.org/10.1177/1356336X18783922

Maravé-Vivas, M., Gil-Gómez, J., Valverde-Esteve, T., Salvador-García, C., y Chiva-Bartoll, O. (2022). A longitudinal study of the effects of servicelearning on physical education teacher education students [Un estudio longitudinal de los efectos del aprendizaje-servicio en los estudiantes de magisterio de educación física]. Frontiers in Psychology, 13. http://doi.org/10.3389/fpsyg.2022.787346

Martínez-Usarralde, M. J., Gil-Salom, D., y Macías-Mendoza, D. (2019). Revisión sistemática de responsabilidad social universitaria y aprendizaje servicio. Análisis para su institucionalización. Revista Mexicana de Investigación Educativa, 24 (80), 149-172. http://www.scielo.org.mx/scielo.php?script=sci_arttextypid=S1405-66662019000100149ylng=esynrm=iso

McIlrath, L., Aramburuzabala, P., y Opazo, H. (2019). Introduction. En P. Aramburuzabala, L. McIlrath y H. Opazo (Eds.), Embedding service learning in European higher education: Developing a culture of civic engagement (pp. 1-9). Routledge.

Menon, S., y Suresh, M. (2020). Synergizing education, research, campus operations, and community engagements towards sustainability in higher education: A literature review [La sinergia entre la educación, la investigación, el funcionamiento del campus y el compromiso de la comunidad hacia la sostenibilidad en la educación superior: una revisión de la literature]. International Journal of Sustainability in Higher Education, 21 (5), 1015-1051. http://doi.org/10.1108/IJSHE-03-2020-0089

Miller, M. (2012). The role of service-learning to promote early childhood physical education while examining its influence upon the vocational call to teach [El papel del aprendizaje-servicio para promover la educación física en la primera infancia, al tiempo que se examina su influencia en la vocación docente]. Physical Education and Sport Pedagogy, 17 (1), 61-77. http://doi.org/10.1080/17408981003712810

Mtawa, N., y Wilson-Strydom, M. (2018). Community service learning: Pedagogy at the interface of poverty, inequality and privilege [Aprendizaje servicio comunitario: Pedagogía en la interfaz de la pobreza, la desigualdad y el privilegio]. Journal of Human Development and Capabilities, 19 (2), 249-265. http://doi.org/10.1080/19452829.2018.1448370

Patrascu, C. (2022). ‘Scaling up’ the social impact of innovation in services - significant findings and best practice examples from specialty research [Aumentar el impacto social de la innovación en los servicios: resultados significativos y ejemplos de buenas prácticas de la investigación especializada]. LUMEN Proceedings, 17, 552-558. http://doi.org/10.18662/wlc2021/56

Pino, E., Rojas, W., Tamayo, M., y Castro, J. (2016). Programa de aprendizaje-servicio en la educación superior. Revista Ciencias Pedagógicas e Innovación, 4 (1), 101-111. http://doi.org/10.26423/rcpi.v4i1.122

Puig-Rovira, J. M. (2022). Aprendizaje-servicio, cambio de paradigma y revolución educativa. RIDAS, Revista Iberoamericana de Aprendizaje-Servicio, 14, 12-35. https://doi.org/10.1344/RIDAS2022.14.2

Redondo-Corcobado, P., y Fuentes, J. L. (2020). La investigación sobre el aprendizaje-servicio en la producción científica española: una revisión sistemática. Revista Complutense de Educación, 31 (1), 69-82. https://doi.org/10.5209/rced.61836

Ruiz-Corbella, M., y García-Gutiérrez, J. (2019). Aprendizaje-servicio: los retos de la evaluación. Narcea.

Salam, M., Awang Iskandar, D. N., Ibrahim, D. H. A., y Farooq, M. S. (2019). Service learning in higher education: a systematic literature review [El aprendizaje-servicio en la educación superior: una revisión sistemática de la literature]. Asia Pacific Education Review, 20, 573- 593. http://doi.org/10.1007/s12564-019-09580-6

Sánchez-Taraza, L., y Ferrández-Berrueco, R. (2022). Aplicación del método Delphi en el diseño de un marco para el aprendizaje por competencias. Revista de Investigación Educativa, 40 (1), 219-235. http://doi.org/10.6018/rie.463611

Sanders, M. J., Vans, T., y McGeary, S. (2015). Analyzing reflections in service learning to promote personal growth and community selfefficacy [Analizar las reflexiones en el aprendizaje servicio para promover el crecimiento personal y la autoeficacia comunitaria]. Journal of Experiential Education, 39, 73-88. http://doi.org/10.1177/1053825915608872

Santos-Pastor, M. L., Ruiz-Montero, P. J., Chiva-Bartoll, O., y Martínez-Muñoz, L. F. (2021a). Guía práctica para el diseño e intervención de programas de aprendizaje-servicio en actividad física y deporte. Junta de Andalucía. http://digibug.ugr.es/handle/10481/70964

Santos-Pastor, M. L., Martínez-Muñoz, L. F., Garoz-Puerta, I., y García-Rico, L. (2021b). La reflexión en el aprendizaje-servicio universitario en actividad física y deporte. Claves para el aprendizaje personal, académico y profesional. Contextos Educativos, 27 (1), 9-29. https://doi.org/10.18172/con.4574

Tryon, E., y Stoecker, R. (2008). The unheard voices: Community organizations and service-learning [Las voces no escuchadas: las organizaciones comunitarias y el aprendizaje-servicio]. Journal of Higher Education Outreach and Engagement, 12 (3), 47-60. http://cutt.ly/VTkU4mH

Ward, K., y Wolf-Wendel, L. (2000). Community-centered service learning: Moving from doing for to doing with [Aprendizaje servicio centrado en la comunidad: pasar de hacer para a hacer con]. American Behavioral Scientist, 43, 767-780. http://doi.org/10.1177/00027640021955586

Downloads

Published

2023-05-01
Metrics
Views/Downloads
  • Abstract
    60
  • PDF (Español)
    39
  • PDF
    39

How to Cite

López de Arana Prado, E., Martínez Muñoz, L. F., Calle Molina, M. T., Santos Pastor, M. L., and Aguado Gómez, R. (2023). Construction and validation of an instrument for evaluating the quality of university service-learning projects using the Delphi method. Revista Española de Pedagogía, 81(285), 402. https://doi.org/10.22550/REP81-2-2023-07

Issue

Vol. 81 No. 285 (2023)

Section

Notas

License

Creative Commons License

This work is licensed under a Creative Commons Attribution-NonCommercial 4.0 International License.

Similar Articles

1 2 3 4 5 6 7 8 9 10 > >> 

You may also start an advanced similarity search for this article.