Development and validation of the Test of Spelling Competence (TCORT) in incoming university students.
DOI:
https://doi.org/10.22550/REP81-3-2023-08Keywords:
spelling, competence, university students, validity, academic performanceAbstract
This study aims to present a test to assess spelling competence (TCORT) in incoming Spanish university students and to obtain validity evidence to support its use. The starting point was a bank of 73 items covering the most relevant spelling areas of the Spanish language, and the 37 most representative items were selected from the information provided by six experts. Afterwards, a pilot study of the TCORT was carried out with 602 students. The final version consisted of 31 items, with sufficient internal consistency (α = .90; ω =.89) and an invariant unidimensional structure between sexes. It also correlated significantly with other variables, such as previous performance (r = .37, p <.01), verbal reasoning (r = .27, p <.01) and spelling, measured with another tool not adapted to the target population (r = .45, p <.01). Validity evidence based on the test content, internal structure and relations to other variables supported the use of the test to assess spelling competences in incoming university students. The usefulness of TCORT in providing relevant data to facilitate the creation of university policies aimed at promoting spelling competence training in university students is discussed.
Downloads
References
Alsina, Á., Ayllón, S., Colomer, J., Fernández-Peña, R., Noell, J. F., Díaz, M. P. I., Pérez-Burriel, M., y Serra, L. (2017). Improving and evaluating reflective narratives: A rubric for higher education students [Mejora y evaluación de las narrativas reflexivas: una rúbrica para estudiantes de enseñanza superior]. Teaching and Teacher Education, 63, 148-158. https://doi.org/10.1016/j.tate.2016.12.015
American Educational Research Association, American Psychological Association, y National Council on Measurement in Education. (2014). Standards for educational and psychological testing [Estándares para pruebas educativas y psicológicas]. AERA.
Arribas-Águila, D., Santamaría, P., Sánchez-Sánchez, F., y Fernández-Pinto, I. (2013). BAT-7. TEA ability battery [BAT-7. Batería de aptitudes de TEA]. TEA Ediciones.
Arteagoitia, I., Howard, E. R., Loguit, M., Malabonga, V., y Kenyon, D. M. (2005). The Spanish developmental contrastive spelling test: An instrument for investigating intra-linguistic and crosslinguistic influences on Spanish-spelling development [La prueba de desarrollo contrastivo de la ortografía española: un instrumento para investigar las influencias intralingüísticas y translingüísticas en el desarrollo de la ortografía española]. Bilingual Research Journal, 29 (3), 541-560. https://doi.org/10.1080/15235882.2005.10162851
Ayre, C., y Scally, A. J. (2014). Critical values for Lawshe’s content validity ratio: revisiting the original methods of calculation [Valores críticos del coeficiente de validez de contenido de Lawshe: revisión de los métodos originales de cálculo]. Measurement and Evaluation in Counseling and Development, 47 (1), 79-86. https://doi.org/10.1177/0748175613513808
Binkley, M., Erstad, O., Herman, J., Raizen, S., Ripley, M., Miller-Ricci, M., y Rumble, M. (2012). Defining twenty-first century skills [Definición de las competencias del siglo XXI]. En P. Griffin, B. McGaw, y E. Care (Eds.), Assessment and teaching of 21st century skills [Evaluación y enseñanza de las competencias del siglo XXI] (pp. 17-66). Springer. https://doi.org/10.1007/978-94-007-2324-5_2
Byrne, B. M. (2012). Structural equation modeling with Mplus: Basic concepts, applications, and programming [Modelización de ecuaciones estructurales con Mplus: conceptos básicos, aplicaciones y programación]. Routledge.
Camps, A., Milian, M., Bigas, M., Camps, M., y Cabré, P. (2004). La enseñanza de la ortografía (3.ª ed.). Graó.
Cejudo, J., Salido-López, J. V., y Rodrigo-Ruiz, D. (2017). Efecto de un programa para la mejora en competencia en comunicación lingüística de alumnado de educación secundaria. Revista de Psicodidáctica, 22 (2), 135-141. https://doi.org/10.1016/j.psicod.2016.11.001
Chen, F. (2007). Sensitivity of goodness of fit indexes to lack of measurement invariance [Sensibilidad de los índices de bondad de ajuste a la falta de invarianza de la medición]. Structural Equation Modeling, 14 (3), 464-504. https://doi.org/10.1080/10705510701301834
Child, D. (2006). The essentials of factor analysis [Fundamentos del análisis factorial] (3.ª ed.). Continuum.
Consejo de Europa. (2002). Marco Común Europeo de Referencia para las Lenguas: aprendizaje, enseñanza, evaluación. Secretaría General Técnica del Ministerio de Educación, Cultura y Deporte; Subdirección General de Información y Publicaciones; Anaya.
Cuadro, A., Costa Ball, D., Palombo, A. L, y von Hagen, A. (2013). Propiedades psicométricas de una prueba experimental de dictado de palabras para la evaluación de la ortografía en escolares uruguayos. Ciencias Psicológicas, 7 (1), 57-66. http://www.scielo.edu.uy/scielo.php?script=sci_arttext&pid=S1688-42212013000100006
Cuetos, F. (2008). Revisión de libros: Evaluación del lenguaje: BLOC (Screening-R) [Book review: Language assessment: BLOC (Screening-R)]. Psicothema, 20 (4), 975-981. https://reunido.uniovi.es/index.php/PST/article/view/8760
Cuetos, F., Arribas, D., y Ramos, J. L. (2016). PROLEC-SE-R. Batería de evaluación de los procesos lectores en secundaria y bachillerato. TEA Ediciones.
Daffern, T., Mackenzie, N. M., y Hemmings, B. (2015). The development of a spelling assessment tool informed by triple word form theory [Desarrollo de una herramienta de evaluación ortográfica basada en la teoría de la triple forma de las palabras.]. Australian Journal of Language and Literacy, 38 (2), 72-82. https://doi.org/10.1007/BF03651958
Dunn, T. J., Baguley, T., y Brunsden, V. (2013). From alpha to omega: A practical solution to the pervasive problem of internal consistency estimation [De alfa a omega: una solución práctica al eterno problema de la estimación de la consistencia interna]. British Journal of Psychology, 105 (3), 399-412. https://doi.org/10.1111/bjop.12046
Evans, J. D. (1996). Straightforward statistics for the behavioral sciences [Estadística directa para las ciencias del comportamiento]. Thomson Brooks/Cole Publishing Co.
Fernández-Rufete, A. (2015). Enseñanza de la ortografía, tratamiento didáctico y consideraciones de los docentes de educación primaria de la provincia de Almería. Investigaciones Sobre Lectura, (4), 7-24. https://doi.org/10.24310/revistaisl.vi4.10964
Ferrando, P. J., y Lorenzo-Seva, U. (2018). Assessing the quality and appropriateness of factor solutions and factor score estimates in exploratory item factor analysis [Evaluación de la calidad e idoneidad de las soluciones factoriales y de las estimaciones de las puntuaciones factoriales en el análisis factorial exploratorio de ítems]. Educational and Psychological Measurement, 78 (5), 762-780. https://doi.org/10.1177/0013164417719308
Gentry, R., McNeel, J., y Wallace-Nesler, V. (2014). Fostering writing in today’s classroom [Fomentar la escritura en las aulas de hoy]. Shell Education.
Gómez, A. (2005). Enseñar ortografía a universitarios andaluces. EA, Escuela Abierta, (8), 129- 148. https://ea.ceuandalucia.es/index.php/EA/article/view/136
Gómez, A. (2007). La ortografía del español y los géneros electrónicos. Comunicar, 15 (29), 157- 164. https://doi.org/10.3916/C29-2007-22
Gómez, A. (2014). La norma disortográfica en la escritura digital. Didac, (63), 19-25. https://idus.us.es/handle/11441/57840
Gómez, A., y Gómez, M. T. (2015). Escritura ortográfica y mensajes de texto en estudiantes universitarios. Perfiles Educativos, 37 (150), 91-104. https://doi.org/10.22201/iisue.24486167e.2015.150.53164
Gómez-Torrego, L. (2015). Ortografía de uso español actual. Ediciones SM.
Gorsuch, R. L. (2003). Factor analysis [Análisis factorial]. En J. A. Schinka, y W. F. Velicer (Eds.), Handbook of psychology. Volume 2: Research methods in psychology [Manual de psicología. Volumen 2: métodos de investigación en psicología] (pp. 143-164). John Wiley & Sons.
Hancock, G. R., y Mueller R. O. (2000). Rethinking construct reliability within latent variable systems [Replanteamiento de la fiabilidad de los constructos en los sistemas de variables latentes]. En R. Cudek, S. H. C. duToit, y D. F. Sorbom (Eds.), Structural equation modeling: Present and future [Modelización de ecuaciones estructurales: presente y futuro] (pp. 195-216). Scientific Software Internacional.
Hooper, D., Coughlan, J., y Mullen, M. R. (2008). Structural equation modelling: Guidelines for determining model fit [Modelización de ecuaciones estructurales: pautas para determinar el ajuste del modelo]. Electronic Journal of Business Research Methods, 6 (1), 53-60. https://doi.org/10.21427/d7cf7r
Hu, L., y Bentler, P. M. (1999). Cutoff criteria for fit indexes in covariance structure analysis: Conventional criteria versus new alternatives [Criterios de corte para los índices de ajuste en el análisis de la estructura de covarianza: criterios convencionales frente a nuevas alternativas]. Structural Equation Modeling: A Multidisciplinary Journal, 6 (1), 1-55. https://doi.org/10.1080/10705519909540118
Hubley, A., y Zumbo, B. (2011). Validity and the consequences of test interpretation and use [Validez y consecuencias de la interpretación y del uso de los tests]. Social Indicators Research, 103 (2), 219-230. https://doi.org/10.1007/s11205-011-9843-4
Izura, C., Cuetos, F., y Brysbaert, M. (2014). Lextale-Esp: A test to rapidly and efficiently assess the Spanish vocabulary size [Lextale-Esp: un test para evaluar rápida y eficazmente el vocabulario español]. Psicológica, 35 (1), 49-66.
Job, J. M., y Klassen, R. M. (2012). Predicting performance on academic and non-academic tasks: A comparison of adolescents with and without learning disabilities [Predicción del rendimiento en tareas académicas y no académicas: una comparativa entre adolescentes con y sin problemas de aprendizaje]. Contemporary Educational Psychology, 37 (2), 162-169. https://doi.org/10.1016/j.cedpsych.2011.05.001
Kellogg, R. T., y Raulerson, B. A. (2007). Improving the writing skills of college students [Mejorar la capacidad de redacción de los estudiantes universitarios]. Psychonomic Bulletin and Review, 14 (2), 237-242. https://doi.org/10.3758/BF03194058
Khoiriyah, U., Roberts, C., Jorm, C., y Van der Vleuten, C. P. M. (2015). Enhancing students’ learning in problem based learning: validation of a self-assessment scale for active learning and critical thinking [Mejora del aprendizaje de los alumnos en el aprendizaje basado en problemas: validación de una escala de autoevaluación del aprendizaje activo y del pensamiento crítico]. BMC Medical Education, 15, 140. https://doi.org/10.1186/s12909-015-0422-2
Lloret-Segura, S., Ferreres-Traver, A., Hernández-Baeza, A., y Tomás-Marco, I. (2014). El análisis factorial exploratorio de los ítems: una guía práctica, revisada y actualizada. Anales de Psicología, 30 (3), 1151-1169. https://doi.org/10.6018/analesps.30.3.199361
Mardia, K. V. (1970). Measures of multivariate skewness and kurtosis with applications [Medidas de asimetría y curtosis multivariantes con aplicaciones]. Biometrika, 57 (3), 519-530. https://doi.org/10.1093/biomet/57.3.519
Marín-García, I. (2021). Método Signo: ortografía con LSE. REVLES, 3, 77-101. https://www.revles.es/index.php/revles/article/view/72
Martín, R. A. (2015). La didáctica de la lengua y la literatura españolas en el máster en Formación del Profesorado de Educación Secundaria. Revisión y renovación. Revista Española de Pedagogía, 73 (261), 365-379. https://revistadepedagogia.org/lxxiii/no-261/la-didactica-de-la-lengua-y-laliteratura-espanolas-en-el-master-en-formaciondel-profesorado-de-educacion-secundariarevision-y-renovacion/101400002739/
Martín-Sánchez, M. A. (2010). Notes to the history of teaching foreign languages: the teaching of grammar [Apuntes a la historia de la enseñanza de lenguas extranjeras: la enseñanza de la gramática]. TEJUELO. Didactics of Language and Literature. Education, 8, 59-76. https://tejuelo.unex.es/article/view/2438
Mingle, J., y Adams, M. (2015). Social media network participation and academic performance in senior high schools in Ghana [Participación en redes sociales y rendimiento académico en escuelas secundarias superiores de Ghana]. Library Philosophy and Practice (e-journal), 1286.
Muñiz, J., y Fonseca-Pedrero, E. (2019). Diez pasos para la construcción de un test. Psicothema, 31 (1), 7-16. https://doi.org/10.7334/psicothema2018.291
Níkleva, D. (2015). La cortesía en los correos electrónicos de estudiantes universitarios como parte de la competencia pragmático-discursiva. Spanish in Context, 12 (2), 280-303. https://doi.org/10.1075/sic.12.2.05nik
Nunnally, J. C., y Bernstein, I. H. (1994). The assessment of reliability [Evaluación de la fiabilidad]. En Psychometric theory [Teoría psicométrica] (pp. 248-292). McGraw-Hill.
Orellana-García, P., Valenzuela-Hasenohr, M. F., Kung, M., Elmore, J., y Stenner, A. J. (2020). EVOC: un instrumento para evaluar vocabulario en español en Chile. Magis. Revista Internacional de Investigación en Educación, 13, 1-26. https://doi.org/10.11144/Javeriana.m13.eiev
Oren, C., Kennet-Cohen, T., Turvall, E., y Allalouf, A. (2014). Demonstrating the validity of three general scores of PET in predicting higher education achievement in Israel [Demostrando la validez de tres puntuaciones generales del PET para predecir el rendimiento en la educación superior en Israel]. Psicothema, 26 (1), 117-126. https://doi.org/10.7334/psicothema2013.257
OECD. (2015). OECD skills strategy diagnostic report: Spain [Informe de diagnóstico de la estrategia de competencias de la OCDE: España]. OECD. https://www.oecd.org/skills/nationalskillsstrategies/Diagnostic-report-Spain.pdf
OECD. (2018). Trends shaping education spotlight 16: Writing in a changing world [Tendencias en educación 16: escribir en un mundo cambiante]. OECD.
Palacios, A., Arias, V., y Arias, B. (2014). Las actitudes hacia las matemáticas: construcción y validación de un instrumento para su medida. Revista de Psicodidáctica, 19 (1), 67-91. https://doi.org/10.1387/RevPsicodidact.8961
Pascual-Gómez, I., y Carril-Martínez, I. (2017). Relación entre la comprensión lectora, la ortografía y el rendimiento: un estudio en educación primaria. Ocnos: Revista de Estudios Sobre Lectura, 16 (1), 7-17. https://doi.org/10.18239/ocnos_2017.16.1.1167
Ramírez-Uclés, I., Flores, P., y Castro, E. (2013). Análisis de las capacidades visuales e intelectuales en los alumnos con talento matemático. Revista Mexicana de Psicología, 30 (1), 24-31. http://hdl.handle.net/10481/64585
Real Academia Española, y Asociación de Academias de la Lengua Española (2010). Ortografía de la lengua española. Espasa Calpe.
Rhemtulla, M., Brosseau-Liard, P. É., y Savalei, V. (2012). When can categorical variables be treated as continuous? A comparison of robust continuous and categorical SEM estimation methods under suboptimal conditions [¿Cuándo pueden tratarse las variables categóricas como continuas? Comparación entre métodos robustos de estimación SEM continuos y categóricos en condiciones subóptimas]. Psychological Methods, 17 (3), 354-373. https://doi.org/10.1037/a0029315
Rico-Martín, A. M. (2002). Breve análisis de los factores que intervienen en el aprendizaje ortográfico. Publicaciones, 32, 71-84. https://revistaseug.ugr.es/index.php/publicaciones/article/view/2325/2486
Rico-Martín, A. M., y Níkleva, D. (2016). Análisis de la competencia lingüístico-discursiva escrita de los alumnos de nuevo ingreso del grado de Maestro en educación primaria. Revista Signos, 49 (90), 48-70. https://doi.org/10.4067/S0718-09342016000100003
Rios, J., y Wells, C. (2014). Validity evidence based on internal structure [Evidencia de validez basada en la estructura interna]. Psicothema, 26 (1), 108-116. https://doi.org/10.7334/psicothema2013.260
Rizzo, M. F. (2022). La regulación del español en contextos digitales: el dispositivo normativo de la Fundéu. Spanish in Context, 19 (2), 314-336. https://doi.org/10.1075/sic.20010.riz
Romero-González, A. N., y Álvarez-Álvarez, M. D. (2020). La escritura académica de estudiantes universitarios de humanidades a partir de sus producciones. Estudio transversal. Revista Mexicana de Investigación Educativa, 25 (85), 395-418. https://www.scielo.org.mx/scielo.php?script=sci_arttext&pid=S1405-66662020000200395
Sæle, R. G., Sørlie, T., Nergård-Nilssen, T., Ottosen, K. O., Goll, C. B., y Friborg, O. (2016). Demographic and psychological predictors of grade point average (GPA) in North-Norway: A particular analysis of cognitive/school-related and literacy problems [Predictores demográficos y psicológicos de la nota media en Noruega del Norte: un análisis particular de los problemas cognitivos/escolares y de alfabetización]. Educational Psychology, 36 (10), 1886-1907. https://doi.org/10.1080/01443410.2014.998630
Salvador-Mata, F., Gallego, J. L., y Mieres, C. G. (2007). Habilidades lingüísticas y comprensión lectora: una investigación empírica. Bordón, 59 (1), 153-166. https://recyt.fecyt.es/index.php/BORDON/article/view/36841
Sánchez-Rivero, R., Alves, R. A., Limpo, T., y Fidalgo, R. (2021). Análisis de una encuesta sobre la enseñanza de la escritura en la educación obligatoria. Revista Española de Pedagogía, 79 (279), 321-340. https://doi.org/10.22550/REP79-2-2021-01
Sánchez-Sánchez, F., y Arribas-Águila, D. (2014). BAT-7, batería de aptitudes de TEA: descripción y datos psicométricos. International Journal of Developmental and Educational Psychology, 2 (1), 353-363. https://revista.infad.eu/index.php/IJODAEP/article/view/450
Saneleuterio, E. (2018). Solo en caso de ambigüedad o la coherencia en la enseñanza de la tilde. Boletín de Filología, 53 (1), 279-289. https://doi.org/10.4067/S0718-93032018000100279
Seifart, F. (2006). Orthography development [Desarrollo de la ortografía]. En J. Gippert, N. P. Himmelmannm, y U. Mosel (Eds.), Essentials of language documentation [Fundamentos de la documentación lingüística] (pp. 275-299). De Gruyter Mouton. https://doi.org/10.1515/9783110197730
Sireci, S. G., y Faulkner-Bond, M. (2014). Validity evidence based on test content [Evidencia de validez basada en el contenido del test]. Psicothema, 26 (1), 100-107. https://doi.org/10.7334/psicothema2013.256
Suárez, S. R., Suárez, A. M., Guisado, I. S., y Suárez, M. R. (2019). La ortografía en el ámbito universitario: una realidad que exige la reflexión del alumnado y la implicación del profesorado. Didáctica. Lengua y Literatura, 31, 135-145. https://doi.org/10.5209/dida.65945
Suárez, S. R., Cremades, R., y Suárez-Ramírez, M. R. (2021). La ortografía como factor de calidad en la educación superior. Datos para una reflexión. Foro de Educación, 19 (2), 387-401. https://doi.org/10.14516/fde.784
Svetina, D., Rutkowski, L., y Rutkowski, D. (2019). Multiple-group invariance with categorical outcomes using updated guidelines: An illustration using Mplus and the lavaan/semTools packages [Invarianza de grupos múltiples con resultados categóricos mediant eel uso de directrices actualizadas: una ilustración con Mplus y los paquetes lavaan/semTools]. Structural Equation Modeling: A Multidisciplinary Journal, 27 (1), 1-20. https://doi.org/10.1080/10705511.2019.1602776
Timmerman, M. E., y Lorenzo-Seva, U. (2011). Dimensionality assessment of ordered polytomous items with parallel analysis [Evaluación de la dimensionalidad de ítems politómicos ordenados con análisis paralelo]. Psychological Methods, 16 (2), 209-220. https://doi.org/10.1037/a0023353
Vanderswalmen, R., Vrijders, J., y Desoete, A. (2010). Metacognition and spelling performance in college students [Metacognición y rendimiento ortográfico en estudiantes universitarios]. En A. Efklides, y P. Misailidi (Eds.), Trends and prospects in metacognition research [Tendencias y perspectivas en investigación sobre metacognición] (pp. 367-394). Springer. https://doi.org/10.1007/978-1-4419-6546-2_17
Venkatesan, S., y Holla, J. M. (2011). Validation of graded spelling list for children with learning disabilities [Validación de una lista de ortografía graduada para niños con dificultades de aprendizaje]. Journal of Psychology, 2 (2), 73-82. https://doi.org/10.1080/09764224.2011.11885465
Wilson, F. R., Pan, W., y Schumsky, D. A. (2012). Recalculation of the critical values for Lawshe’s content validity ratio [Recálculo de los valores críticos del índice de validez de contenido de Lawshe]. Measurement and Evaluation in Counseling and Development, 45 (3), 197-210. https://doi.org/10.1177/0748175612440286
Zhou, Y. (2019). A mixed methods model of scale development and validation analysis [Un modelo de métodos mixtos de desarrollo de escalas y análisis de validación]. Measurement: Interdisciplinary Research and Perspectives, 17 (1), 38-47. https://doi.org/10.1080/15366367.2018.1479088
Downloads
Published
-
Abstract77
-
PDF (Español)36
-
PDF36
How to Cite
Issue
Section
License
This work is licensed under a Creative Commons Attribution-NonCommercial 4.0 International License.
Submit Article
Language
Information
Keywords
