Learning to search with AI: psychometric evaluation of a digital competence test in the university context
Supporting Agencies
- Ministerio de Ciencia, Innovación y Universidades de España
Abstract
In an educational context marked by the emergence of Artificial Intelligence (AI), the primary aim of this study is to design and validate an instrument for assessing university students’ digital competence in the area of information and data search and management within AI-enhanced digital environments, using the DigComp 2.2 Framework as a reference. The methodology employed is quantitative, with a non-experimental design and a sample of 52 students from the University of Leeds (United Kingdom). The instrument, consisting of 15 items, underwent expert review and statistical analyses, including reliability testing and both structural and content validity assessments. Factor analysis results revealed a structure consistent with the theoretical components, explaining 55.37 % of the total variance across the first four factors. The test demonstrates a robust structure and effectively discriminates between different levels of digital competence, proving useful for identifying strengths and areas for improvement in the academic use of AI-enhanced information and data search and management tools. It is safe to conclude that this instrument possesses sound psychometric properties and represents a methodological advancement for assessing key skills in the university of the future.
Downloads
-
Abstract4
-
pdf (Español (España))0
References
Almulla, M.A. (2024). Investigating influencing factors of learning satisfaction in AI ChatGPT for research: University students perspective. Heliyon, 10, e32220. https://doi.org/10.1016/j.heliyon.2024.e32220
Alava Cielo, J.Y., & Alegre Jara, M.E. (2024). Desarrollo de Competencias Digitales en Estudiantes Universitarios: La Propuesta Metodológica "Orienta-Tec". Ciencia Latina, 8(1), 4616-4637. https://doi.org/10.37811/cl_rcm.v8i1.9802
Clegg, S., & Sarker, S. (2024). Artificial intelligence and management education: A conceptualization of human-machine interaction. The International Journal of Management Education, 22(3), 101007. https://doi.org/10.1016/j.ijme.2024.101007
Flores-Morales, J. A., Anglas La Torre, M. E., & Solorzano Arias, S. (2026). Inteligencia Artificial e integridad en los trabajos académicos de estudiantes en una Universidad de Lima. European Public & Social Innovation Review, 11, 1-20. https://doi.org/10.31637/epsir-2026-1897
Granda, L, Romero, L., & Játiva, D. (2021). El docente y la alfabetización digital en la educación del siglo XXI. Revista Sociedad y Tecnología, 4(S2), 377-390. https:// institutojubones.edu.ec/ojs/index.php/societec/article/view/158
Guevara-Otero, N., Cuevas-Molano, E., Vázquez-Cano, E., & López-Meneses, E. (2023). Analysis of predisposition in levels of individual digital competence among Spanish university students. Contemporary Educational Technology, 15(4), ep451. https://doi.org/10.30935/cedtech/13420
ISTE (2016). ISTE Standards for Students. A Practical Guide for Learning with Technology. Stanstebook
Krumsvik, R. J. (2011). Digital competence in the Norwegian teacher education and schools. Högre utbildning, 1(1), 39-51. https://doi.org/10.23865/hu.v1.874
Lessa, B., & Leitão Leal, D. (2023). Avaliação crítica e uso de fontes de informação digitais por estudantes do curso Biblioteconomia a distância da Universidade Federal da Bahia: uma análise baseada no Framework for Information Literacy for Higher Education-ACRL. Revista Digital de Biblioteconomia e Ciência da Informação, 21, e023018. https://doi.org/10.20396/rdbci.v21i00.8672271
Llorent-Vaquero, M., Ágreda-Montoro, M., & Tallón-Rosales, S. (2025). Digital Competence in University Students: A Comparison between Spain and Italy. QWERTY, 20(1), 146-165. https://doi.org/10.30557/QW000075
Martínez-Rivera, O. (2024). El impacto de la Inteligencia Artificial (AI) en la experiencia de enseñanza-aprendizaje de los trabajos en la Universidad. European Public & Social Innovation Review, 9, 1-17. https://doi.org/10.31637/epsir-2024-885
Mishra, P., & Koehler, M. (2006). Technological Pedagogical Content Knowledge: A Framework for Teacher Knowledge. Michigan State University.
Ocaña, Y., Valenzuela, L., & Garro, L. (2019). Inteligencia artificial y sus implicaciones en la educación superior. Propósitos y Representaciones, 7(2), 536-568. https://doi.org/10.20511/PYR2019.V7N2.274
Oliden, P.E., & Zumbo, B.D. (2008). Coeficientes de fiabilidad para escalas de respuesta categórica ordenada. Psicothema, 20(4), 896‐901. http://www.psicothema.com/psicothema.asp?id=3572
Ortiz Ruiz, Y.T. (2024). Competencias digitales en estudiantes de Pedagogía de la Universidad de Los Lagos, Osorno-Chile. Conocimiento Educativo, 11(1), 33-40. https://doi.org/10.5377/ce.v11i1.18513
Ostanina, A., Bazyl, O., Tsviakh, O., & Dovzhuk, N. (2023). Formation of Digital Competence in Higher Education Students as a Basis for the Transformation of Education of the Future. Futurity Education, 3(1), 139–149. https://doi.org/10.57125/FED.2023.25.03.10
Pérez, A., McClain, S.K., Roa, A.F., Rosado-Mendinueta, N., & Trigos-Carrillo, L. (2025). Artificial Intelligence Applications in College Academic Writing and Composition: A Systematic Review. Íkala, 30(1), 1-37. https://doi.org/10.17533/udea.ikala.355878
Ruiz-Lázaro, J., Redondo-Duarte, S., Jiménez-García, E., Martínez-Requejo, S., & Galán-Íñigo, A. (2025). Análisis de las guías de uso de inteligencia artificial en educación superior: comparación entre las universidades españolas. Bordón, 77(1), 121–153. https://doi.org/10.13042/Bordon.2025.110638
Ruiz Muñoz, G.F., & Vasco Delgado, J.C. (2025). Integración de las tecnologías de la información y la comunicación (TIC) e inteligencia artificial (IA) en la formación docente. Revista de Investigación en Tecnologías de la Información, 13(29), 60-70. https://doi.org/10.36825/RITI.13.29.006
Sánchez Olavarría, C., & Carrasco Lozano, M-EE (2021). Competencias digitales en educación superior. Etic@net, 21(1), 28-50. https://doi.org/10.30827/eticanet.v21i1.16944
Shooriabi, M., Kabomir, F., Modarres Mousavi, S., & Amjadi, M. (2024). Digital literacy competence self-assessment among dental students in Iran. SSRN. https://doi.org/10.2139/ssrn.5024766
Tzirides, A. O., Zapata, G., Kastania, N. P., Saini, A. K., Castro, V., Ismael, S. A., You, Y., Afonso dos Santos, T., Searsmith, D., O’Brien, C., Cope, B., & Kalantzis, M. (2024). Combining human and artificial intelligence for enhanced AI literacy in higher education. Computers and Education Open, 6, 100184. https://doi.org/10.1016/j.caeo.2024.100184
Vargas Vera, L., Tello Yarin, E., & Ccala Llamoca, M. (2023). Desarrollo de competencias en el uso de las tecnologías de la información y comunicación en educación superior: Revisión sistemática. Horizontes, Revista de Investigación en Ciencias de la Educación, 7(31), 2711-2723. https://doi.org/10.33996/revistahorizontes.v7i31.696
Vuorikari, R., Kluzer, S., & Punie, Y. (2022). DigComp 2.2 The Digital Competence Framework for Citizens. Publications Office of the European Union. https://dx.doi.org/10.2760/115376
Zawacki-Richter, O., Marín, V.I., Bond, M., & Gouverneur, F. (2019). Systematic review of research on artificial intelligence applications in higher education - where are the educators? International Journal of Educational Technology in Higher Education, 16, art. 39, 1-27. https://doi.org/10.1186/s41239-019-0171-0
Zhai, C., Wibowo, S. & Li, L.D. (2024). The effects of over-reliance on AI dialogue systems on students' cognitive abilities: a systematic review. Smart Learn. Environ, 11, 28. https://doi.org/10.1186/s40561-024-00316-7
Copyright (c) 2026 Revista Interuniversitaria de Formación del Profesorado
This work is licensed under a Creative Commons Attribution-NonCommercial-NoDerivatives 3.0 Unported License.
La Revista Interuniversitaria de Formación del Profesorado (RIFOP), con ISSN impreso 0213-8646 e ISSN electrónico 2530-3791, se adhiere a los avisos de derechos de autor propuestos por Creative Commons.
Derechos de autor
Los artículos publicados en la revista están sujetos a las siguientes condiciones:
- La Asociación Universitaria de Formación del Profesorado (AUFOP) es la editora de RIFOP y posee los derechos de autor de los artículos publicados en ella. Se permite la reutilización de estos bajo la licencia de uso indicada en el punto 2.
© Asociación Universitaria de Formación del Profesorado (AUFOP)
- Los artículos se publican en versión electrónica bajo la licencia Creative Commons Reconocimiento-NoComercial-SinObraDerivada 3.0 España (texto legal). Los artículos pueden copiarse, utilizarse, difundirse, transmitirse y exhibirse públicamente siempre que: i) se cite la autoría y la fuente original de publicación (revista, editores y URL del artículo); ii) no se utilizan con fines comerciales; iii) se menciona la existencia y las especificaciones de la licencia de uso.
- Condiciones de autoarchivo. Se permite y se anima a los autores a difundir versiones electrónicas preimpresas (versiones previas a la revisión por pares) y/o postimpresas (versiones revisadas y aceptadas para su publicación) de sus artículos antes de su publicación, ya que esto favorece su rápida circulación y difusión, y supone un posible aumento de citas y alcance dentro de la comunidad académica.
Declaración de privacidad
Los nombres y direcciones de correo electrónico incorporados a esta revista se utilizarán únicamente para los fines declarados de la revista y no estarán disponibles para ningún otro fin ni para terceros.
