Validation of an instrument to evaluate art apps that enable the development of artistic skills in digital settings.
DOI:
https://doi.org/10.22550/REP79-3-2021-02Keywords:
construct validity, reliability, artistic competence, apps, evaluation instrumentAbstract
Apps that help art teachers work on areas relating directly to artistic competences are a valuable digital teaching resource. In this study we call them art apps. Aims: To validate a measurement instrument for digital applications based on the results we obtained in the first design phase, and to modify the items and identify factors. Methodology: We carried out three processes in this second phase. An exploratory factorial analysis, a pre-confirmatory analysis, and a confirmatory factorial analysis adjusted by the global or absolute fit indices for all of the scales of the test. This was based on an evaluation battery comprising 98 items distributed in three dimensions and four scales: artistic dimension (expressive and perceptive domain), technical dimension, and pedagogical dimension. Results: We obtained a definitive model of all the scales with optimal values in all the adjustment indicators. Discussion/Conclusion: After completing this process, we designed the definitive test based on the results of the fitting. Taking into account the resulting number of items (74), the number of factors (8), and the wording of each one, we consider it to be a useful and viable tool for evaluating art apps by connecting their artistic, technical, and pedagogical dimensions according to the needs and possibilities of the educational activities.
Downloads
References
Aiello, M. y Willem, C. (2004). El Blended Learning como práctica transformadora. PixelBit. Revista de Medios y Educación, 23, 21-26. https://recyt.fecyt.es/index.php/pixel/article/download/61238/37252
Aiken, L. (2003). Test psicológicos y evaluación. Pearson Education.
Bajardi, A. (2015). B-Learning y arte contemporáneo en educación artística: Construyendo identidades personales y profesionales [Tesis Doctoral, Universidad de Granada]. DIGIBUG: Repositorio Institucional de la Universidad de Granada. http://hdl.handle.net/10481/41757
Bentler, P. M. y Bonett, D. G. (1980). Significance tests and goodness of fit in the analysis of covariance structures [Pruebas de significación y bondad de ajuste en el análisis de estructuras de covarianza]. Psychological Bulletin, 88, 588- 606.
Bentrop, S. M. (2014). Creating an educational app rubric for teachers of students who are deaf and hard of hearing [Creación de una rúbrica de aplicaciones educativas para profesores de alumnos sordos y con dificultades auditivas] (Artículo 680) [Tesis Doctoral, Washington University School of Medicine in St. Louis]. Digital Commons@Becker.
Bouck, E. C., Satsangi, R. y Flanagan, S. (2016). Focus on inclusive education: Evaluating apps for students with disabilities: Supporting academic access and success [Foco sobre la educación inclusiva: evaluación de aplicaciones para estudiantes con discapacidad: apoyo al acceso y al éxito académico]. Childhood Education, 92 (4), 324- 328.
Burbules, N. (2014). El aprendizaje ubicuo: nuevos contextos, nuevos procesos. Revista Entramados-Educación y sociedad, 1, 131-135. https://bit.ly/2lHdSE1
Caeiro Rodríguez, M. (2015). Tecnopatías de la educación artística. Reflexiones en torno a la enseñanza y aprendizaje digital del arte. En J. A. Ibáñez Martín y J. L. Fuentes (Eds.), Aprendizaje Ético-Cívico en Entornos Virtuales: simposio Internacional de Filosofía de la Educación (pp. 11-26). Biblioteca ONLINE.
Caeiro Rodríguez, M. (2020). Arts and apps: aplicaciones digitales y educación artística. Tres instrumentos para trabajar con apps de arte. En E. Sánchez Rivas, E. Colomo Magaña, J. Ruiz-Palmero y J. Sánchez Rodríguez (Coords.), Tecnologías educativas y estrategias didácticas (pp. 210-225). UMA Editorial. https://hdl.handle.net/10630/20345
Caeiro Rodríguez, M. y Navarrete, C. (2020). Experiencias B-learning con apps de arte en la asignatura de Educación Plástica, Visual y Audiovisual: logotipo y stopmotion como armas de construcción masiva. REIDOCREA, 9, 107- 120. https://www.ugr.es/~reidocrea/9-9.pdf
Caeiro Rodríguez, M., Ordóñez, F. F., Callejón, M. D. y Castro-León, E. (2020). Diseño de un instrumento de evaluación de aplicaciones digitales (apps) que permiten desarrollar la competencia artística. Pixel-Bit. Revista de Medios y Educación, 58, 7-25. https://doi.org/10.12795/pixelbit.74071
Camilleri, A. y Camilleri, M. (2019). Mobile Learning via Educational Apps: An Interpretative Study [Aprendizaje móvil a través de aplicaciones educativas: un estudio interpretative]. ICETT 2019, 88-92. https://dl.acm.org/doi/pdf/10.1145/3337682.3337687
Campo-Arias, A. y Oviedo, H. C. (2008). Propiedades psicométricas de una Escala: la Consistencia interna. Revista de Salud Pública, 10 (5), 831-839.
Cherner, T., Dix, J. y Lee, C. (2014). Cleaning up that mess: A framework for classifying educational apps [Limpiando el desorden: un marco para clasificar las aplicaciones educativas]. Contemporary Issues in Technology and Teacher Education, 14 (2). http://bit.ly/2VEiwQW
Del-Moral, M. E., Bellver, M. C. y Guzmán-Duque, A. P. (2019). Evaluación de la potencialidad creativa de aplicaciones móviles creadoras de relatos digitales para Educación Primaria. Ocnos, 18 (1), 7-20. https://doi.org/10.18239/ocnos_2019.18.1.1866
DiStefano, C., Liu, J., Jiang, N. y Shi, D. (2018). Examination of the weighted root mean square residual: Evidence for trustworthiness? [Examen del residuo medio cuadrático ponderado: ¿pruebas de fiabilidad?] Structural Equation Modeling, 25 (3), 453-466.
Escaño González, C. (2010). Hacia una educación artística 4.0. Revista Arte, Individuo y Sociedad, 2 (1), 135-144. https://bit.ly/2kCVtb1
Escobar-Pérez, J. y Cuervo-Martínez, A. (2008). Validez de contenido y juicio de expertos: una aproximación a su utilización. Avances en Medición, 6, 27-36.
Fernández-Cruz, F. J., Fernández-Díaz, M. J. y Rodríguez-Mantilla, J. M. (2018). Diseño y validación de un instrumento de medida del perfil de formación docente en tecnologías de la información y comunicación | Design and validation of an instrument to measure teacher training profiles in information and communication technologies. revista española de pedagogía, 76 (270), 247-270.
Ferrando, P. J. y Lorenzo-Seva, U. (2016). A note on improving EAP trait estimation in oblique factor-analytic and item response theory models [Una observación sobre la mejora de la estimación de rasgos de la PEA en los modelos de análisis factorial oblicuo y de la teoría de respuesta al ítem]. Psicologica, 37, 235-247.
Fombona Cadavieco, J., Pascual Sevillano, M. A. y Vázquez-Cano, E. (2020). M-Learning en niveles iniciales, rasgos didácticos de las APPS educativas. Campus Virtuales, 9 (1), 17-27. http://hdl.handle.net/10272/17786
García de Rozas, A. M. (2017). La educación artística a través de las nuevas tecnologías: El uso de la tablet [Trabajo final de grado, Universidad de Valladolid]. Repositorio documental de la Universidad de Valladolid. http://uvadoc.uva.es/handle/10324/26415
García-Umaña, A. y Córdoba, E. (2020). Validación de la escala MPPUS-A sobre el uso problemático del smartphone. Pixel-Bit. Revista de Medios y Educación, 57, 173-189. https://doi.org/10.12795/pixelbit.2020.i57.07
Giráldez, A. (2013). Enseñar artes en un mundo digital: diez propuestas para la formación del profesorado. Belo Horizonte, 3 (5), 85-104.
Hart, A. (2001). La educación artística y la educación de los medios en la era digital. Revista Comunicar, 8 (16), 149-160. https://bit.ly/35s7iEY
Hernández Ramírez, J. (2014). Instrumento para la valoración preliminar del uso de las APPs en educación primaria. En J. J. Maquilón Sánchez, A. Escarbajal Frutos y R. Nortes Martínez-Artero (Eds.), Vivencias innovadoras en las aulas de primaria (pp. 273-286). Universidad de Murcia.
IBM (2016). SPSS (v. 24) [Programa informático].
Iglesias, L. (2012). Mobile ART: apps móviles en el contexto artístico. Blog Mobile Art. https://bit.ly/2lD3f4Z
Iglesias Antón, E. (2015). Nuevas tecnologías y medios en el proceso de creación fotográfica contemporánea. La fotografía móvil y las apps de autor [Trabajo final de grado, Universidad Pompeu Fabra]. Repositorio digital de la Universidad Pompeu Fabra. http://hdl.handle.net/10230/25223
JASP (2019). JASP (Versión. 0.11.1) [Programa informático]. https://jasp-stats.org/download/
Jöreskog, K. G. y Sörbon, D. (1986). LISREL: Análysis of Linear Structural Relationships by The Mettod of Maximun Likelihood [LISREL: análisis de relaciones estructurales lineales por el método de máxima verosimilitud]. Mooresville, IN Scientific Software.
Kortabitarte, A., Ibáñez-Etxeberria, A., Luna, U., Vicent, N., Gillate, I., Molero, B. y Kintana, J. (2017). Dimensiones para la evaluación de aprendizajes en apps sobre patrimonio. Pulso. Revista de educación, 40, 17-33. https://bit.ly/2k83mVM
Lee, C. Y. y Cherner, T. (2015). A comprehensive evaluation rubric for assessing instructional apps [Una rúbrica de evaluación exhaustiva para evaluar las aplicaciones educativas]. Journal of Information Technology Education: Research, 14, 21-53. http://bit.ly/2ph5xIS
Lee, J. S. y Kim, S. W. (2015). Validation of a tool evaluating educational apps for smart education [Validación de una herramienta de evaluación de aplicaciones educativas para la educación inteligente]. Journal of Educational Computing Research, 52 (3), 435-450. https://doi.org/10.1177/0735633115571923
Li, C. (2016). Confirmatory factor analysis with ordinal data: Comparing robust maximum likelihood and diagonally weighted least squares [Análisis Factorial Confirmatorio con datos ordinales: comparación de la máxima verosimilitud robusta y los mínimos cuadrados ponderados diagonalmente]. Behavior Res, 48, 936- 949.
Lloret, S., Ferreres, A., Hernández, A. y Tomás, I. (2017). The exploratory factor analysis of items: guided analysis based on empirical data and software [El Análisis Factorial Exploratorio de ítems: análisis guiado basado en datos empíricos y software]. Anales de Psicología, 33 (2), 417-432.
López Benito, V. (2013). ¿Educar en el arte mediante apps? Los museos de arte y el uso de aplicaciones móviles en el contexto español. Her&- Mus: Heritage & Museography, 13, 69-74.
Lorenzo-Seva, U. y Ferrando, P. J. (2013). FACTOR 9.2. A comprehensive program for fitting exploratory and semiconfirmatory factor analysis and IRT models [FACTOR 9.2. Un programa completo para ajustar modelos de Análisis Factorial Exploratorio y semiconfirmatorio y de TRI]. Applied Psychological Measurement, 37, 497-498.
Lorenzo-Seva, U. y Ferrando, P. J. (2018). FACTOR Unrestricted Factor Análysis, v. 10.9.02: A computer program to fit the exploratory factor analysis model [FACTOR Unrestricted Factor Análysis, v. 10.9.02: un programa informático para ajustar el modelo de análisis factorial exploratorio]. University Rovira y Virgili.
Lorenzo-Seva, U. y Van Ginkel, J. R. (2016). Multiple imputation of missing values in exploratory factor analysis of multidimensional scales: estimating latent trait scores [Imputación múltiple de valores perdidos en el análisis factorial exploratorio de escalas multidimensionales: estimación de las puntuaciones de rasgos latentes]. Anales de Psicología, 32 (2), 596-608.
Luna, Ú., Etxeberria, Á. I. y Kortabitarte, A. (2019). Herramientas digitales innovadoras en espacios educativos. El uso de las apps para la enseñanza-aprendizaje del patrimonio en España. En J. Calvillo Barrios (Coord.), Escenarios, heterogeneidad y nuevas perspectivas para comprensión de la educación (pp. 90-106). Universidad Estatal de Oriente.
Malone, M. y Peterson, M. (2013). Is there an app for that? Developing an evaluation rubric for apps for use with adults with special needs [¿Existe una aplicación para eso? Desarrollo de una rúbrica de evaluación para aplicaciones destinadas a adultos con necesidades especiales]. The Journal of BSN Honors Research, 6 (1), 38-56.
Marín García, T. (2011). Experiencia de innovación docente GOUMH: aprendizaje colaborativo en Bellas Artes con APPS de Google. En Congreso Internacional de Innovación Docente (pp. 1845- 1859). Universidad Politécnica de Cartagena. http://hdl.handle.net/10317/2270
Martín Ezama, P. (2016). El contenido digital y transmedia de los museos: webs, apps y dispositivos. Estudio descriptivo de la situación actual de las herramientas y plataformas de distribución de contenido digital de los principales museos de arte de titularidad pública de España [Trabajo Fin de Máster, Universidad Nacional de Educación a Distancia]. Repositorio Institucional de la Universidad Nacional de Educación a Distancia. https://bit.ly/3pUZncA
Montaño Armendaríz, M. A. (2014). Modelo de desarrollo económico local para la diversificación de la estructura productiva y la articulación del tejido empresarial en baja California Sur [Tesis Doctoral, Universidad Autónoma de Baja California]. Eumed.net. https://bit.ly/3xkG136
Mora Castro, D. M. (2018). Las aplicaciones móviles apps en el desarrollo de la expresión artística de los niños [Tesis Doctoral, Universidad de Ambato]. Repositorio Universidad Técnica de Ambato. https://repositorio.uta.edu.ec/jspui/handle/123456789/28344
Muñiz, J. y Fonsaca-Pedrero, E. (2019). Diez pasos para la construcción de un test. Psicothema, 31 (1), 7-16.
Navarro Martínez, D. (2014). Cómic, curriculum en la escuela de secundaria y APPS. En R. Marín Viadel, J. Roldán y X. Molinet Medina (Eds.), Fundamentación, criterios y contextos en Investigación basada en Artes e Investigación Artística, vol. 4 (pp. 59-96). Universidad de Granada. http://hdl.handle.net/10481/34212
Norman, D. (1988). The psychology of everyday things [La psicología de lo cotidiano]. Basic Books.
Norman, D. y Drapper, S. (1988). User centered system design [Diseño de sistemas centrados en el usuario]. Lawrence Erlbaum.
Ondé Pérez, D. (2020). Revisión del Concepto de Causalidad en el Marco del Análisis factorial Confirmatorio. Revista Iberoamericana de Diagnóstico y Evaluación- e Avaliaçao Psicológica RIDEP, 54 (1), 103-117.
Ordóñez, F. F. y González Fernández, J. (2021). Estadística descriptiva paso a paso. Manual Básico para Ciencias Sociales. Pirámide.
Oviedo, C. H. y Campo-Arias, A. (2005). Aproximación al uso del coeficiente alfa de Cronbach. Revista Colombiana de Psiquiatría, 34 (4), 572-580.
Papadakis, S., Kalogiannakis, M. y Zaranis, N. (2017). Designing and creating an educational app rubric for preschool teachers [Diseño y creación de una rúbrica de aplicaciones educativas para profesores de preescolar]. Education and Information Technologies, 22 (6), 3147- 3165. http://bit.ly/2IQsjOD
Prensky, M. (2001). Digital natives, digital immigrants [Nativos digitales, inmigrantes digitales]. On the Horizon, 9 (5), 1-6.
Prieto, S. (29 de abril de 2015). Criterios para la utilización y diseño de aplicaciones móviles educativas. Educaweb. https://bit.ly/3cMIyv3
Rico Rico, A. B. (2017). Evaluación del uso de las apps que abordan los procesos creativos en la educación artística formal [Tesis doctoral, Universidad de Valladolid]. Repositorio documental de la Universidad de Valladolid. http://uvadoc.uva.es/handle/10324/22663
Rojas-Torres, L. (2020). Robustez de los índices de ajuste del Análisis Factorial Confirmatorio a los valores extremos. Revista Matemática: Teoría y Aplicaciones, 27 (2), 383-404.
Sarrab, M. K., Alzahrani, A. A., Al Alwan, N. A. y Alfarraj, O. M. (2014). From traditional learning into mobile learning in education at the university level: Undergraduate students perspective [Del aprendizaje tradicional al aprendizaje móvil en la educación a nivel universitario: perspectiva de los estudiantes de grado]. International Journal of Mobile Learning and Organisation, 8 (3/4), 167-186. https://doi.org/10.1504/IJMLO.2014.067014
Sasiain Camarero-Núñez, A. y Aberasturi Apraiz, E. (2018). Pensar pedagógicamente desde el Arte: el stop motion como herramienta de trabajo. En M. Caeiro Rodríguez (Coord.), Arte, Educación y Pensamiento digital: Educar, crear y habitar en la quinta pared (pp. 127-146). Egregius Ediciones. https://bit.ly/3gtkrUv
Saura Pérez, Á. (2011). Innovación educativa con TIC en Educación artística, Plástica y Visual. Líneas de investigación y estudios de caso. MAD.
Schwab, K. (2016). La cuarta revolución industrial. Debate.
Seva, U. y Ferrando, P. J. (2015). POLYMAT-C: A comprehensive SPSS program for computing the polychoric correlation matrix [POLYMAT-C: Un programa completo de SPSS para calcular la matriz de correlación policórica]. Behavioral Research Methods, 47 (3), 884-889.
Soriano, A. M. (2014). Diseño y validación de instrumentos de medición. Diálogos, 14, 19-40.
Stake, R. E. (2006). Evaluación comprensiva y evaluación basada en estándares. Ariel.
Steiger, J. H. y Lind, J. C. (1980). Statistically-based tests for the number of common factors [Presentación de artículo]. Reunión anual de primavera de la Psychometric Society.
Vernet, M. (10 de mayo de 2014). El aprendizaje móvil. Algunas reflexiones sobre sus características y su puesta en práctica. Docentes en línea. https://bit.ly/3zt5PMl
Vicent, N. (2013). Evaluación de un programa de educación patrimonial basado en tecnología móvil [Tesis doctoral, Universidad Autónoma de Madrid]. Repositorio institucional de la Universidad Autónoma de Madrid. http://hdl.handle.net/10486/14321
Walker, H. C. (2011). Evaluating the effectiveness of apps for mobile devices [Evaluación de la eficacia de las aplicaciones para dispositivos móviles]. Journal of Special Education Technology, 26 (4), 59-66.
Walker, H. C. (2013). Establishing content validity of an evaluation rubric for mobile technology applications utilizing the Delphi method [Establecimiento de la validez de contenido de una rúbrica de evaluación para aplicaciones de tecnología móvil utilizando el método Delphi] [Tesis doctoral, Johns Hopkins University]. Johns Hopkins Sheridan Libraries. http://jhir.library.jhu.edu/handle/1774.2/36935
Downloads
Published
-
Abstract38
-
PDF (Español)16
-
PDF16
How to Cite
Issue
Section
License
This work is licensed under a Creative Commons Attribution-NonCommercial 4.0 International License.
Submit Article
Language
Information
Keywords
