Abstract

Background/purpose – Few psychometric tests have been identified in the literature that analyze digital competencies in school-aged children. The Evaluation Test of Digital Competencies in Compulsory Education Students (ECODIES, Casillas-Martín et al., 2020) is considered one of the most robust for its measurement. The aim of the study was to assess the psychometric validity of the “ECODIES – Area 1: Information” test with high school students from two Peruvian cities in 2021.

Materials/methods – The research was formed as a basic level, non-experimental, and cross-sectional study. Content validity was analyzed through expert judges (n = 8), while construct validity, factorial invariance, and reliability were tested with a sample of high school students from Lima and Cusco (N = 201).

Results – The content validity obtained satisfactory results (Aiken’s V = 0.952, p < .01). Through construct validity, it was corroborated that the instrument measures the information competence (RMSEA = 0.052, CFI = 0.948, TLI = 0.928, PNFI = 0.67) and that this theoretical construct remains invariant between both of the groups studied. The instrument also demonstrates adequate internal consistency (α = 0.736, ω = 0.751, ordinal α = 0.869).

Conclusion – “ECODIES - Area 1: Information” is a valid and reliable instrument for the assessment of the information digital competence, including cultural differences, in high school students.

Keywords: Psychometric instrument, validity, reliability, digital competence, high school

Aiken, L. R. (1985). Three Coefficients for Analyzing the Reliability and Validity of Ratings. Educational and Psychological Measurement, 45(1), 131-142. https://doi.org/10.1177/0013164485451012

Ala-Mutka, K. (2011). Mapping Digital Competence: Towards a Conceptual Understanding. European Union. https://bit.ly/3uEMgQb

Basilotta, V., García-Valcárcel, A., Casillas, S., & Cabezas, M. (2020). Evaluación de competencias informacionales en escolares y estudio de algunas variables influyentes. Revista Complutense De Educación, 31(4), 517-528. https://doi.org/10.5209/rced.65835

Bland, J. M., & Altman, D. G. (1997). Statistic notes: Cronbach’s alpha. BMJ, 314, Article 572. https://doi.org/10.1136/bmj.314.7080.572

Carrera, F. X., Vaquero, E., & Balsells, A. (2011) Instrumento de evaluación de competencias digitales para adolescentes en riesgo social. Revista Electrónica de Tecnología Educativa, 35, Article 154. https://doi.org/10.21556/edutec.2011.35.410

Casillas, S., & Cabezas, M. (2020). Validación de la prueba de evaluación de competencias digitales para estudiantes de Educación Obligatoria (Ecodies) [. In A. Hernández Martín, & A. Iglesias Rodríguez (Eds.), Evaluación de las competencias digitales de estudiantes de educación obligatoria: Diseño, validación y presentación de la prueba Ecodies  (pp. 71-98). Ediciones Octaedro. https://bit.ly/3buBWAk

Casillas-Martín, S., Cabezas-González, M., & García-Valcárcel, A. (2020). Análisis psicométrico de una prueba para evaluar la competencia digital de estudiantes de Educación Obligatoria. Relieve, 26(2), Article 2. https://doi.org/10.7203/relieve.26.2.17611

Cheung, G. W., & Rensvold, R. B. (2002). Evaluating Goodness-of-Fit Indexes for Testing Measurement Invariance. Structural Equation Modeling: A Multidisciplinary Journal, 9(2), 233-255. http://dx.doi.org/10.1207/S15328007SEM0902_5

Cifuentes-Faura, J. (2020). Consecuencias en los Niños del Cierre de Escuelas por Covid-19: El Papel del Gobierno, Profesores y Padres. Revista Internacional De Educación Para La Justicia Social, 9(3e). https://revistas.uam.es/riejs/article/view/12216

Colás-Bravo, P., Conde-Jiménez, J., & Reyes-de Cózar, S. (2017). Competencias digitales del alumnado no universitario. Revista Latinoamericana de Tecnología Educativa, 16(1), 7-20. https://doi.org/10.17398/1695-288X.16.1.7

Conde, J. (2017). La mediación de las TIC en la creación de ambientes de aprendizaje y el logro de competencias digitales [Doctoral dissertation, Universidad de Sevilla]. Depósito de Investigación. https://bit.ly/3EY02TN

D’agostino, R. B., Belanger, A., & D’agostin, R. B., Jr. (1990). A Suggestion for Using Powerful and Informative Tests of Normality. The American Statistician, 44(4), 316-321. https://doi.org/10.1080/00031305.1990.10475751

Díaz-Arce, D., & Loyola-Illescas, E. (2021). Competencias digitales en el contexto COVID 19: una mirada desde la educación. Revista Innova Educación, 3(1), 120-150. https://doi.org/10.35622/j.rie.2021.01.006

Dominguez-Lara, S. (2018). Fiabilidad y alfa ordinal. Actas Urológicas Españolas, 42(2), 140-141. http://doi.org/10.1016/j.acuro.2017.07.002

Escobar-Pérez, J., & Cuervo-Martínez, Á. (2008). Validez de contenido y juicio de expertos: una aproximación a su utilización. Avances en medición, 6(1), 27-36. https://bit.ly/3WahN82

European Union. (2019). Key Competences for Lifelong Learning. Publications Office of the European Union. http://doi.org/10.2766/291008

Ferrari, A., Punie, Y., & Brecko, B. (2013). DIGCOMP: A Framework for Developing and Understanding Digital Competence in Europe. Publications Office of the European Union. http://dx.doi.org/10.2788/52966

Floridi, L. (Ed.) (2015). The online manifesto: Being human in a hyperconnected era. Springer Nature. https://doi.org/10.1007/978-3-319-04093-6

Garcia-Valcarcel, A., Hernández, A., Basilotta, V., Cabezas González, M., Casillas, S., González, L., Iglesias, A., Martín, M., Mena, J. J., & Salvador, L. (2019). Prueba para evaluar la competencia digital de los estudiantes tomando como referencia el modelo DIGCOMP (ECODIES): área de información. GITE-USAL. https://bit.ly/3FHDO8N

García-Valcárcel, A., Hernández, A., Mena, J. J., Iglesias, A., Casillas, S., Cabezas, M., González, L. M., Martín, M., & Basilotta, V. (2019). Modelo de indicadores para evaluar la competencia digital de los estudiantes tomando como referencia el modelo DIGCOMP (INCODIES). GITE-USAL. https://bit.ly/3BrC80Z

Harju, V., Koskinen, A., & Pehkonen, L. (2019). An exploration of longitudinal studies of digital learning. Educational Research, 61(4), 388-407. https://doi.org/10.1080/00131881.2019.1660586

Henriquez-Coronel, P., Gisbert, M., & Fernández, I. (2018). La evaluación de la competencia digital de los estudiantes: una revisión al caso latinoamericano. Chasqui. Revista Latinoamericana de Comunicación, 137, 91-110. https://bit.ly/3pRc3Dx

Hu, L.-t., & Bentler, P. M. (1999). Cutoff criteria for fit indexes in covariance structure analysis: Conventional criteria versus new alternatives. Structural Equation Modeling, 6(1), 1-55. https://doi.org/10.1080/10705519909540118

Huang, F., Teo, T., Sánchez-Prieto, J. C., García-Peñalvo, F. J., & Olmos-Migueláñez, S. (2019). Cultural values and technology adoption: A model comparison with university teachers from China and Spain. Computers & Education, 133, 69-81. https://doi.org/10.1016/j.compedu.2019.01.012

Instituto Nacional de Estadística e Informática. (2021). Estadística de las Tecnologías de Información y Comunicación en los Hogares. Issue 02, June 2021. [Technical report]. https://bit.ly/3UPcdaa

Jones-Jang, S. M., Mortensen, T., & Liu, J. (2019). Does Media Literacy Help Identification of Fake News? Information Literacy Helps, but Other Literacies Don’t. American Behavioral Scientist, 65(2), 371-388). https://doi.org/10.1177/0002764219869406

Lee, S.-G., Trimi, S., & Kim, C. (2013). The impact of cultural differences on technology adoption. Journal of World Business, 48(1), 20-29. https://doi.org/10.1016/j.jwb.2012.06.003

López-Aguado, M., & Gutiérrez-Provecho, L. (2019). How to perform and interpret an exploratory factor analysis using SPSS Statistics. REIRE Revista d’Innovació I Recerca En Educació, 12(2), 1–14. https://doi.org/10.1344/reire2019.12.227057

Loveless, A., & Williamson, B. (2013). Learning identities in a digital age: Rethinking creativity, education and technology. Routledge. https://bit.ly/3pV6uDU

Martín, M. (2020). La competencia digital de los estudiantes de Educación Obligatoria en el proyecto Evadiso: resultados por áreas en la prueba Ecodies. In A. Hernández & A. Iglesias (Eds.). Evaluación de las competencias digitales de estudiantes de educación obligatoria (pp. 91-116). Ediciones Octaedro. https://bit.ly/3BpTR8K

Mattar, J. (2018). El constructivismo y el conectivismo en tecnología educativa: El aprendizaje activo, situado, auténtico, experiencial y anclado. RIED - Revista Iberoamericana de Educación a Distancia, 21(2), 201-217. https://doi.org/10.5944/ried.21.2.20055

Mon, F. E., & Cervera, M. G. (2013). Competencia digital en la educación superior: instrumentos de evaluación y nuevos entornos. Enl@ce: Revista Venezolana de Información, Tecnología y Conocimiento, 10(3), 29-43. https://bit.ly/2ZDJ4bf

Morales, V. G. (2013). Desarrollo de competencias digitales docentes en la educación básica. Apertura, 5(1), 88-97. https://bit.ly/3EsQBsr

Nunnally, J. C. (2013). Teoría psicométrica. Editorial Trillas. https://bit.ly/3jRA61g

Pulido-Montes, C., & Ancheta-Arrabal, A. (2021). La educación remota tras el cierre de escuelas como respuesta internacional a la Covid-19. Revista Prisma Social, 34, 236-266. https://bit.ly/3nJWXgo

Siemens, G. (2005). Connectivism: A learning theory for the digital age. International Journal of Instructional Technology and Distance Learning, 2(1). https://bit.ly/3PhSK0C

Suárez-Guerrero, C., Rivera-Vargas, P., & Rebour, M. (2020). Preguntas educativas para la tecnología digital como respuesta. Edutec. Revista Electrónica De Tecnología Educativa, 73, 7-22. https://doi.org/10.21556/edutec.2020.73.1733

United Nations Economic Commission for Latin America and the Caribbean. (2022). Proposed Digital Agenda for Latin America and the Caribbean (eLAC 2024). ECLAC. https://bit.ly/3Bj7GG4

Valverde-Crespo, D., de Pro-Bueno, A., & González-Sánchez, J. (2020). Competencia digital de estudiantes de Secundaria al buscar y seleccionar información sobre ciencia. Enseñanza de las Ciencias, 38(3), 81-104. https://doi.org/10.5565/rev/ensciencias.2833

Van Lancker, W., & Parolin, Z. (2020). COVID-19, school closures, and child poverty: a social crisis in the making. The Lancet Public Health, 5(5), e243-e244. https://doi.org/10.1016/S2468-2667(20)30084-0

Viladrich, C., Angulo-Brunet, A., & Doval, E. (2017). A journey around alpha and omega to estimate internal consistency reliability. Anales de Psicología, 33(3), 755-782. https://doi.org/10.6018/analesps.33.3.268401

Vuorikari, R., Kluzer, S., & Punie, Y. (2022). DigComp 2.2, The Digital Competence framework for citizens: with new examples of knowledge, skills and attitudes. Publications Office of the European Union. http://doi.org/10.2760/115376

Vuorikari R., Punie Y., Carretero, S., & van den Brande, G. (2016). DigComp 2.0: The Digital Competence Framework for Citizens. Update Phase 1: the Conceptual Reference Model. Publications Office of the European Union. http://dx.doi.org/10.2791/607218

Zhao, Y., Pinto, A. M., & Sánchez, M. C. (2021). Digital competence in higher education research: A systematic literature review. Computers & Education, 168, Article 104212 https://doi.org/10.1016/j.compedu.2021.104212