Design and validation of a rubric to evaluate educational actions and projects on youth empowerment.

Authors

  • Laura Corbella Molina Universitat Autònoma de Barcelona.
  • Carme Trull Oliva Universitat de Girona.
  • María Pilar Rodrigo Moriche Universidad Autónoma de Madrid.
  • Xavier Úcar Martínez Universitat Autònoma de Barcelona.

DOI:

https://doi.org/10.22550/REP79-3-2021-05

Keywords:

youth, empowerment, programme evaluation, social pedagogy, educational assessment, reflection on practice

Abstract

In recent years, there has been a significant increase in international debates, research and socio-educational programmes focusing on youth empowerment. One of the main issues with this concept is related to how it is measured and evaluated. Evaluating socio-educational actions and projects is crucial in order to design, implement and improve educational practices that help young people to empower themselves. This article presents the process of building and validating a rubric, within the framework of the HEBE Project, for the evaluation of youth empowerment actions and projects. The methodological process consists of three phases: (1) Design of the rubric; (2) Expert validation by 17 practitioners from different fields, 3 experts in evaluation and 5 young people; (3) And a comparison by means of a pilot test with 20 projects or socio-educational services aimed at youth empowerment, in which 63 professionals participate. The results show evidence of validity and reliability of the rubric in order to evalu ate the quality of socio-educational practices, and also to design and implement actions that focus on youth empowerment. It is noted for being a validated and useful instrument for making educational assessments related to youth empowerment, and for its usefulness in generating processes of reflection that become the basis for rethinking and improving pedagogical practices.

Downloads

Download data is not yet available.

Author Biographies

Laura Corbella Molina, Universitat Autònoma de Barcelona.

is a Pre-doctoral Researcher forming part of the PhD Programme in Education in the Department of Theories of Education and Social Pedagogy at the Universitat Autònoma de Barcelona (UAB) and collaborating lecturer at Universitat Oberta de Catalunya. She is a social educator and holds a Master’s Degree in Educational Research from the UAB. Her research activity focuses on social pedagogy and, specifically, the ethical dimension of socio-educational relations. https://orcid.org/0000-0002-2151-089X

Carme Trull Oliva, Universitat de Girona.

is Associate Professor of the Area of Theory and History of Education and Specialized Research Technician of the Area of Studies of Education and Psychology at the University of Girona (UdG). She is a social educator and holds an Inter-university Master's Degree in Youth and Society, and the Doctorate in Education. Her research activity focuses on social pedagogy and, specifically, the socio-educational interventions of the juvenile justice system. https://orcid.org/0000-0003-2777-0315

María Pilar Rodrigo Moriche, Universidad Autónoma de Madrid.

is Associate Professor in the Department of Pedagogy at the Universidad Autónoma de Madrid (UAM) and Collaborating Lecturer in the Faculty of Education at the Universidad Nacional de Educación a Distancia (UNED). She has worked in early childhood education centres, youth areas, organisations for the social and labour inclusion of socially disadvantaged people and organisations for people with intellectual disabilities. She is a member of the EMIPE Research Group and the TABA International Research Group. https://orcid.org/0000-0002-6513-0899

Xavier Úcar Martínez, Universitat Autònoma de Barcelona.

is Professor of Social Pedagogy at the Universidad Autónoma de Barcelona. He specialises in Social Education and in the Design and Evaluation of Community Development Programmes and Socio-cultural Animation Programmes. President of the “Sociedad Iberoamericana de Pedagogía Social” [Ibero-American Society of Social Pedagogy] (SIPS) (2012-2018). President of the “Coordinadora per l’Animació Sociocultural de Cataluña” [Coordinating Committee for Socio-Cultural Animation of Catalonia] (CASC_CAT) (2009-2014). Member of the GIPE research group on Education Policy and of the GPSEJ group “Pedagogía Social y Empoderamiento Juvenil” [Social Pedagogy and Youth Empowerment]. https://orcid.org/0000-0003-3678-8277

References

Andueza, A. (2019). Evaluación de la escritura académica: construcción y validación de un instrumento integrado basado en tareas para evaluar habilidades específicas de escritura. Revista Electrónica de Investigación y Evaluación Educativa, 25 (2), art. 5. https://doi.org/10.7203/relieve.25.2.11163

Bacqué, M.-H. y Biewener, C. (2016). El empoderamiento: una acción progresiva que ha revolucionado la política y la sociedad. Editorial Gedisa, S. A.

Beatty, P. C. y Willis, G. (2007). Research synthesis: The practice of cognitive interviewing. [Síntesis de la investigación: la práctica de la entrevista cognitiva]. Public Opinion Quarterly, 71 (2), 287-311. https://doi.org/10.1093/poq/nfm006

Bharuthram, S. y Patel, M. (2017). Co-constructing a rubric checklist with first year university students: A self-assessment tool [Co-construcción de una lista de comprobación de rúbricas con estudiantes universitarios de primer año: una herramienta de autoevaluación]. Apples – Journal of Applied Language Studies, 11 (4), 35-55. https://doi.org/10.17011/apples/urn.201708073430

Cevallos, B. y Paladines, B. (2016). La autonomía personal: un indicador del empoderamiento juvenil. En P. Soler, J. Bellera, y A. Planas (Eds.), Pedagogía Social, Juventud y Transformaciones Sociales (pp. 370-377). Universidad de Girona.

Cubillos-Veja, C. y Ferrán-Aranaz, M. (2018). Diseño y validación de una rúbrica para valorar la resolución de casos prácticos relativos a derechos humanos. Revista Iberoamericana de Evaluación Educativa, 11 (2), 35-52. https://doi.org/10.15366/riee2018.11.2.002

Dimova, Y. y Loughran, J. (2009). Developing a big picture understanding of reflection in pedagogical practice [Desarrollar una comprensión global de la reflexión en la práctica pedagógica.] Reflective Practice, 10 (2), 205-217. https://doi.org/10.1080/14623940902786214

Doğan, C. D. y Uluman, M. (2017). A comparison of rubrics and graded category rating scales with various methods regarding raters’ reliability [Comparación de rúbricas y escalas de calificación por categorías con diversos métodos en relación con la fiabilidad de los calificadores]. Educational Sciences: Theory & Practice, 17 (2), 631-651. https://doi.org/10.12738/estp.2017.2.0321

Fernández-Cruz, F. J., Fernández-Díaz, M. J. y Rodríguez-Mantilla, J. M. (2018). Diseño y validación de un instrumento de medida del perfil de formación docente en tecnologías de la información y comunicación | Design and validation of an instrument to measure teacher training profiles in information and communication technologies. revista española de pedagogía, 76 (270), 247-270. https://doi.org/10.22550/REP76-2-2018-03

Froufe, S. (1997). Los ámbitos de intervención en la Educación Social. Aula, 9, 179-200. https://revistas.usal.es/index.php/0214-3402/article/view/3491

García-Sanz, M. P. (2014). La evaluación de competencias en Educación Superior mediante rúbricas: un caso práctico. Revista Electrónica Interuniversitaria de Formación del Profesorado, 17 (1), 87-106. https://doi.org/10.6018/reifop.17.1.198861

Gatica-Lara, F. y Uribarren-Berrueta, T. del N. J. (2013). ¿Cómo elaborar una rúbrica? Investigación en Educación Médica, 2 (1), 61-65. https://doi.org/10.1016/S2007-5057(13)72684-X

Gil, J. (2007). La evaluación de competencias laborales. Educación XX1, 10, 83-106. https://doi.org/10.5944/educxx1.1.10.298

Hilton, C. E. (2015). The importance of pretesting questionnaires: A field research example of cognitive pretesting the Exercise referral Quality of Life Scale (ER-QLS) [La importancia de la prueba previa de los cuestionarios: un ejemplo de investigación de campo de la prueba previa cognitiva de la Escala de Calidad de Vida referida al Ejercicio (ER-QLS)]. International Journal of Social Research Methodology, 20 (1), 21-34. https://doi.org/10.1080/13645579.2015.1091640

Janer, À. y Úcar, X. (2020). Social pedagogy in the world today: An analysis of the academic, training and professional perspectives [La pedagogía social en el mundo actual: un análisis de las perspectivas académicas, formativas y profesionales]. The British Journal of Social Work, 50 (3), 701-721. https://doi.org/10.1093/bjsw/bcz025

León, V. y Fernández, M. J. (2019). Diseño y validación de una escala para evaluar el funcionamiento de las tutorías en Educación Secundaria. Revista de Investigación Educativa, 37 (2), 525-541. https://doi.org/10.6018/rie.37.2.345251

Llena-Berñe, A., Agud-Morell, I., Páez de la Torre, S. y Vila-Mumbrú, C. (2017). Explorando momentos clave para el empoderamiento de jóvenes a partir de sus relatos. Pedagogía Social. Revista Interuniversitaria, 30, 81-94. https://doi.org/10.7179/PSRI_2017.30.06

Luttrell, C., Quiroz, S., Scrutton, C. y Bird, K. (2009). Understanding and operationalising empowerment [Comprender y hacer operativo el empoderamiento]. https://www.1decada4.es/pluginfile.php/189/course/section/47/understanding.pdf

Miranda, M., Burguera, J. L., Arias, J. M. y Peña, E. (2019). Inclusión, diversidad y equidad: diseño y validación de un cuestionario de opinión dirigido al profesorado de orientación educativa (IDEC-O). Revista de Investigación Educativa, 37 (2), 505-524. https://doi.org/10.6018/rie.37.2.333891

Morton, M. H. y Montgomery, P. (2013). Youth empowerment programs for improving adolescents’ self-efficacy and self-esteem [Programas de capacitación juvenil para mejorar la autoeficacia y la autoestima de los adolescentes]. Research on Social Work Practice, 23 (1), 22-33. https://doi.org/10.1177/1049731512459967

Murphy, D. L. y Ermeling, B. A. (2016). Feedback on reflection: Comparing rating-scale and forced-choice formats for measuring and facilitating teacher team reflective practice [Feedback sobre la reflexión: comparación de los formatos de escala de valoración y de elección forzada para medir y facilitar la práctica reflexiva del equipo docente]. Reflective Practice, 17 (3), 317-333. https://doi.org/10.1080/14623943.2016.1164681

Neuert, C. E. y Lenzner, T. (2015). Incorporating eye tracking into cognitive interviewing to pretest survey questions [Incorporación del seguimiento ocular a la entrevista cognitiva para preevaluar las preguntas de la encuesta]. International Journal of Social Research Methodology, 19 (5), 501-519. https://doi.org/10.1080/13645579.2015.1049448

Panadero, E. y Jonsson, A. (2013). The use of scoring rubrics for formative assessment purposes revisited: A review [Repaso del uso de rúbricas de puntuación para la evaluación formativa: una revisión]. Educational Research Review, 9, 129-144. https://doi.org/10.1016/j.edurev.2013.01.002

Petrie, P. (2005). Extending "pedagogy" [Ampliar la «pedagogía»]. Journal of Education for Teaching, 31 (4), 293-296. https://doi.org/10.1080/02607470500280126

Planas, A., Trilla, J., Garriga, P., Alonso, A. y Monseny, M. (2016a). ¿Qué dimensiones conforman el empoderamiento juvenil? Una propuesta de indicadores. En P. Soler, J. Ballera y A. Planas (Eds.), Pedagogía Social, Juventud y Transformaciones Sociales (pp. 311-318). Universitat de Girona. http://hdl.handle.net/10256/13324

Planas, A., Úcar, X., Páez de la Torre, S., Trilla, J. y Garriga, P. (2016b). Aproximación a los indicadores de empoderamiento juvenil. En C. González y M. Castro Morera (Coords.), Libro de Actas del XVI Congreso Nacional y VII Congreso Iberoamericano de Pedagogía: Democracia y Educación en el Siglo XXI. La obra de John Dewey 100 años después (p. 386). Universidad Complutense de Madrid. https://biblioteca.ucm.es/data/cont/docs/405-2016-10-05-LibroDeActas_SEP2016.pdf

Proyecto HEBE (2019). Rúbrica para la evaluación de acciones y proyectos socioeducativos de empoderamiento juvenil. Universitat de Girona. http://hdl.handle.net/10256/17643

Reddy, Y. M. y Andrade, H. (2010). A review of rubric use in higher education [Una revisión del uso de rúbricas en la educación superior]. Assessment and Evaluation in Higher Education, 35 (4), 435-448. https://doi.org/10.1080/02602930902862859

Richez, J. C., Labadie, F. y De Linares, C. (2012). «Youth empowerment» dans l’espace euroméditerranéen. Rapport d’étude [El empoderamiento juvenil en la zona euromediterránea. Informe del estudio]. https://injep.fr/wp-content/uploads/2019/03/rapport-2012-01_Empower-Youth.pdf

Soler, P. (2017). Presentación monográfico empoderamiento juvenil y pedagogía social. Pedagogía Social. Revista Interuniversitaria, 30, 13-16. https://doi.org/10.7179/PSRI_2017.30.01

Soler, P. (2020). El ocio como recurso privilegiado para el empoderamiento juvenil. En I. Lazcano y Á. De-Juanas (Eds.), Ocio y juventud. Sentido, potencial y participación comunitaria (pp. 161-180). Universidad Nacional de Educación a Distancia (UNED).

Soler, P., Planas, A., Ciraso-Cali, A. y Ribot-Horas, A. (2014). Empoderamiento en la comunidad. El diseño de un sistema abierto de indicadores a partir de procesos de evaluación participativa. Pedagogía Social: Revista Interuniversitaria, 24, 49-77. https://doi.org/10.7179/PSRI_2014.24.03

Soler, P., Trilla, J., Jiménez-Morales, M. y Úcar, X. (2017). La construcción de un modelo pedagógico del empoderamiento juvenil: espacios, momentos y procesos. Pedagogía Social. Revista Interuniversitaria, 30, 19-32. https://doi.org/10.7179/PSRI_2017.30.02

Soler, P., Trull, C., Rodrigo-Moriche, M. P. y Corbella, L. (2019). El reto educativo del empoderamiento juvenil. En I. Alonso y K. Artetxe (Eds.), Educación en el tiempo libre: la inclusión en el centro (pp. 129-142). Ediciones OCTAEDRO, S.L.

Tinsley, S. y Sheats, S. (2020). The role of teacher educators and university supervisors to help student teachers reflect: from monological reflection toward dialogical conversation [El papel de los formadores de profesores y de los supervisores universitarios para ayudar a los estudiantes de magisterio a reflexionar: de la reflexión monológica a la conversación dialógica]. Reflective Practice, 21 (2), 171-182. https://doi.org/10.1080/14623943.2020.1716710

Tourón, J., Martín, D., Navarro, E., Pradas, S. y Íñigo, V. (2018). Validación de constructo de un instrumento para medir la competencia digital docente de los profesores (CDD) | Construct validation of a questionnaire to measure teachers’ digital competence (TDC). revista española de pedagogía, 76 (269), 25-54. https://doi.org/10.22550/REP76-1-2018-02

Úcar, X., Jiménez-Morales, M., Soler, P. y Trilla, J. (2016a). Exploring the conceptualization and research of empowerment in the field of youth [Exploración de la conceptualización e investigación del empoderamiento en el ámbito de la juventud]. International Journal of Adolescence and Youth, 22 (4), 405-418. https://doi.org/10.1080/02673843.2016.1209120

Úcar, X. (Coord.), Planas, A., Novella, A., Rodrigo, P., Vila, C., Núñez, H., Paladines, B., Paéz de la Torre, S., Turón, N., Paéz, J. y Arenillas, M. (2016b). Informe del proceso de evaluación participativa del empoderamiento juvenil con 4 grupos de jóvenes. Dipòsit Digital de Documents. Universitat Autónoma de Barcelona. https://ddd.uab.cat/record/167223

Wagaman, M. A. (2011). Social empathy as a framework for adolescent empowerment [La empatía social como marco para el empoderamiento de los adolescentes]. Journal of Social Service Research, 37 (3), 278-293. https://doi.org/10.1080/01488376.2011.564045

Zimmerman, M. A., Eisman, A. B., Reischl, T. M., Morrel-Samuels, S., Stoddard, S., Miller, A. L., Hutchison, P., Franzen, S. y Rupp, L. (2018). Youth empowerment solutions: Evaluation of an after-school program to engage middle school students in community change [Soluciones para el empoderamiento de los jóvenes: evaluación de un programa extraescolar para involucrar a los estudiantes de secundaria en el cambio de la comunidad]. Health Education and Behavior, 45 (1), 20-31. https://doi.org/10.1177/1090198117710491

Downloads

Published

2021-09-01
Metrics
Views/Downloads
  • Abstract
    63
  • PDF (Español)
    25
  • PDF
    25

How to Cite

Corbella Molina, L., Trull Oliva, C., Rodrigo Moriche, M. P., and Úcar Martínez, X. (2021). Design and validation of a rubric to evaluate educational actions and projects on youth empowerment. Revista Española de Pedagogía, 79(280). https://doi.org/10.22550/REP79-3-2021-05

Issue

Vol. 79 No. 280 (2021)

Section

Notas

License

Creative Commons License

This work is licensed under a Creative Commons Attribution-NonCommercial 4.0 International License.

Similar Articles

1 2 3 4 5 6 7 8 9 10 > >> 

You may also start an advanced similarity search for this article.