The evaluation of mixed reality objects by experts and students: a comparative study
Supporting Agencies
- This study has received funding through the State Program to Promote Scientific and Technological Research and its Transfer, within the framework of the State Plan for Scientific, Technical and Innovation Research 2021-2023. Ministry of Science and Innovation. Reference number: PID2022-136430OB-I00.
Abstract
The present research focused in a generalized way on analyzing and comparing the perception of usability, as well as the technical and aesthetic aspects of the learning objects produced in Extended Reality (ER), according to the opinions of students and experts, evaluating the possible significant differences between both groups in their evaluation of these objects. The instruments for data collection were the System Usability Scale (SUS) to measure usability and a questionnaire to measure technical and aesthetic aspects. The results indicated that the experts valued the usability and the technical and aesthetic aspects of the RE objects more positively than the students. In addition, the SUS scale obtained an average score of 74.03 for students and 79.56 for experts. In terms of technical and aesthetic aspects, the experts gave higher scores.
Downloads
-
Abstract2
-
PDF (Español (España))0
References
AlGerafi, M. A. M., Zhou, Y., Oubibi, M., & Wijaya, T. T. (2023). Unlocking the potential: A comprehensive evaluation of augmented reality and virtual reality in education. Electronics, 12(18), 3953. https://doi.org/10.3390/electronics12183953
Alpizar, D., Adesope, O. O., & Wong, R. M. (2020). A meta-analysis of signaling principle in multimedia learning environments. Educational Technology Research and Development, 68(5), 2095–2119. https://doi.org/10.1007/s11423-020-09748-7
Ausín Villaverde, V., Rodríguez Cano, S., Delgado Benito, V., & Bogdan Toma, R. (2023). Evaluación de una APP de realidad aumentada en niños/as con dislexia: Estudio piloto. Pixel-Bit, Revista de Medios y Educación, 66, 87–111. https://doi.org/10.12795/pixelbit.95632
Banjar, A., Xu, X., Iqbal, M. Z., & Campbell, A. (2023). A systematic review of the experimental studies on the effectiveness of mixed reality in higher education between 2017 and 2021. Computers & Education: X Reality, 3, 100034. https://doi.org/10.1016/j.cexr.2023.100034
Barroso, J., Cabero, J., & Llorente, C. (2015). El diseño, la producción y la evaluación de TIC aplicadas a los procesos de enseñanza-aprendizaje. En J. Cabero & J. Barroso (Coords.), Nuevos retos en tecnología educativa (pp. 69-85). Síntesis.
Brooke, J. (1995). SUS: A quick and dirty usability scale. In P. W. Jordan, B. Thomas, I. L. McClelland, & B. Weerdmeester (Eds.), Usability evaluation in industry (pp. 189–194). Taylor & Francis.
Brooke, J. (2013). SUS: A retrospective. Journal of Usability Studies, 8(2), 29–40.
Brown, M., McCormack, M., Reeves, J., Brooks, D. C., & Grajek, S. (2020). 2020 EDUCAUSE Horizon Report, Teaching and Learning Edition. EDUCAUSE.
Cabero Almenara, J., & Barroso Osuna, J. (2013). La utilización del juicio de experto para la evaluación de TIC: El Coeficiente de competencia experta. Bordón. Revista de Pedagogía, 65(2), 25–38. https://doi.org/10.13042/brp.2013.65202
Cabero Almenara, J., Serrano Hidalgo, M., Palacios Rodríguez, A., & Llorente Cejudo, C. (2022). El alumnado universitario como evaluador de materiales educativos en formato t-MOOC para el desarrollo de la Competencia Digital Docente según DigCompEdu. Comparación con juicio de expertos. Edutec. Revista Electrónica de Tecnología Educativa, 81, 1–17. https://doi.org/10.21556/edutec.2022.81.2503
Cabero, J. y Barroso, J. (2016). Posibilidades educativas de la Realidad Aumentada. NAER. New Approaches in Educational Research, 5(1), 46-52. https://doi.org/10.7821/naer.2016.1.140
Cabero, J., & Llorente, C. (2023). Tecnologías y metodologías emergentes. En C. Llorente & J. J. Gutiérrez (Coords.), Tecnologías emergentes y pedagogía de la innovación (pp. 11-24). Dykinson.
Cabero-Almenara, J., De-La-Portilla-De-Juan, F., Barroso-Osuna, J., & Palacios-Rodríguez, A. (2023). Technology-Enhanced learning in health sciences: Improving the motivation and performance of medical students with immersive reality. Applied Sciences, 13(14), 8420. https://doi.org/10.3390/app13148420
Cabero-Almenara, J., Llorente-Cejudo, C., & Martinez-Roig, R. (2022). The use of mixed, augmented and virtual reality in history of art teaching: A case study. Applied System Innovation, 5(3), 44. https://doi.org/10.3390/asi5030044
Cabero-Almenara, J., Llorente-Cejudo, C., Palacios-Rodríguez, A., & Gallego-Pérez, Ó. (2023). Degree of acceptance of virtual reality by health sciences students. International Journal of Environmental Research and Public Health, 20(8), 5571. https://doi.org/10.3390/ijerph20085571
Chen, Y.-T., Li, M., & Cukurova, M. (2023). Unleashing imagination: An effective pedagogical approach to integrate into spherical video-based virtual reality to improve students’ creative writing. Education and Information Technologies, 29(6), 6499–6523. https://doi.org/10.1007/s10639-023-12115-7
Christopoulos, A., Pellas, N., Bin Qushem, U., & Laakso, M. (2023). Comparing the effectiveness of video and stereoscopic 360° virtual reality‐supported instruction in high school biology courses. British Journal of Educational Technology, 54(4), 987–1005. https://doi.org/10.1111/bjet.13306
Cohen, J. (1988). Statistical power analysis for the behavioral sciences. Erlbaum.
Cohen, J. (1992). Cosas que he aprendido (hasta ahora). Anales de Psicología, 8(1-2), 3-17.
Conrad, M., Kablitz, D., & Schumann, S. (2024). Learning effectiveness of immersive virtual reality in education and training: A systematic review of findings. Computers & Education: X Reality, 4, 100053. https://doi.org/10.1016/j.cexr.2024.100053
Devin, F. (2017). Sistema de Escalas de Usabilidad: ¿qué es y para qué sirve? UUXpañol. https://uxpanol.com/teoria/sistema-de-escalas-de-usabilidad-que-es-y-para-que-sirve/
Gimeno Artigas, S. (2018). Cinco formas de interpretar un SUS. Torresburriel. https://torresburriel.com/weblog/cinco-formas-de-interpretar-un-sus/
González Oneto, H., Moreno Yáñez, Y., & D’Andrea Pincheira, M. (2024). Realidad virtual inmersiva como complemento en la educación odontológica: Un proceso de implementación para la docencia. Educación Médica, 25(5), 100931. https://doi.org/10.1016/j.edumed.2024.100931
Gronier, G., & Baudet, A. (2021). Psychometric evaluation of the F-SUS: Creation and validation of the French version of the system usability scale. International Journal of Human–Computer Interaction, 37(16), 1571–1582. https://doi.org/10.1080/10447318.2021.1898828
Herranz de la Casa, J., Caerolds, M., & Sidorenko, P. (2019). La realidad virtual y el vídeo 360º en la comunicación empresarial e institucional. Revista de Comunicación, 18(2), 177-199. https://doi.org/10.26441/RC18.2-2019-A9
Huang, H., Lin, C., & Cai, D. (2021). Enhancing the learning effect of virtual reality 3D modeling: A new model of learner’s design collaboration and a comparison of its field system usability. Universal Access in the Information Society, 20(3), 429–440. https://doi.org/10.1007/s10209-020-00750-7.
Huang, T., Chen, Ch. & Tseng, Ch. (2025). Exploring learning effectiveness of integrating mixed reality in educational settings: A systematic review and meta-analysis. Computers & Education, 234, 105327, https://doi.org/10.1016/j.compedu.2025.105327.
Lai, J. W., & Cheong, K. H. (2022). Adoption of virtual and augmented reality for mathematics education: A scoping review. IEEE Access, 10, 13693–13703. https://doi.org/10.1109/access.2022.3145991
León-Garrido, A., Barroso-Osuna, J. M., & Llorente-Cejudo, M. C. (2024). Diseño y validación de un instrumento de evaluación para apps móviles musicales a través del juicio de expertos. Aula Abierta, 53(2), 169–179. https://doi.org/10.17811/rifie.20620
Lewis, J. R. (2018). The system usability scale: Past, present, and future. International Journal of Human–Computer Interaction, 34(7), 577–590. https://doi.org/10.1080/10447318.2018.1455307
Li, X., Chen, S., Wang, Y., Wang, Z., Guo, Z., Li, W., Zhang, J., Du, X. & Liu, F. (2025). Advancing Precision Equipment Co-Assembly: An Innovative VR/MR Interface Strategy. International Journal of Human–Computer Interaction, 41:7, 4350-4361, DOI: 10.1080/10447318.2024.2351712.
Liu, Z., Zhang, W., & Hu, L. (2024). Can desktop virtual reality effectively enhance academic achievement? —A meta-analysis. Innovations in Education and Teaching International, 1–16. https://doi.org/10.1080/14703297.2024.2354753
López-Belmonte, J., Dúo-Terrón, P., Moreno-Guerrero, A.-J., & Marín-Marín, J.-A. (2024). Efectos de la realidad aumentada y virtual en estudiantes con TEA (Effects of augmented and virtual reality on students with ASD). Pixel-Bit, Revista de Medios y Educación, 70, 7–23. https://doi.org/10.12795/pixelbit.103789
Makransky, G., Terkildsen, T. S., & Mayer, R. E. (2019). Adding immersive virtual reality to a science lab simulation causes more presence but less learning. Learning and Instruction, 60, 225–236. https://doi.org/10.1016/j.learninstruc.2017.12.007
Mayer, R. E. (2002). Multimedia learning. Psychology of Learning and Motivation, 41, 85–139.
Mayer, R. E. (2021). Multimedia learning. Cambridge University Press.
Mulders, M., Buchner, J., & Kerres, M. (2020). A framework for the use of immersive virtual reality in learning environments. International Journal of Emerging Technologies in Learning (iJET), 15(24), 208-224 https://doi.org/10.3991/ijet.v15i24.16615
O'Dwyer, L., & Bernauer, J. A. (2013). Quantitative research for the qualitative researcher. Thousand Oaks, California, Estados Unidos, SAGE Publications, Inc. https://doi.org/10.4135/9781506335674
Othman, M. K., Nogoibaeva, A., Leong, L. S., & Barawi, M. H. (2021). Usability evaluation of a virtual reality smartphone app for a living museum. Universal Access in the Information Society, 21(4), 995–1012. https://doi.org/10.1007/s10209-021-00820-4
Palacios-Rodríguez, A., Cabero-Almenara, J., & Serrano-Hidalgo, M. (2024). Educación Médica y Carga Cognitiva: Estudio de la Interacción con Objetos de Aprendizaje en Realidad Virtual y Vídeo 360o. Revista de Educación a Distancia (RED), 24(79). https://doi.org/10.6018/red.582741
Parong, J., & Mayer, R. E. (2021). Learning about history in immersive virtual reality: Does immersion facilitate learning? Educational Technology Research and Development, 69(3), 1433–1451. https://doi.org/10.1007/s11423-021-09999-y
Pedrosa, M. (2022). ¿La usabilidad puede medirse? Escala SUS y test de usuario. Flat101. https://www.flat101.es/blog/diseno-ux/la-usabilidad-puede-medirse-escala-sus-y-test-de-usuario/
Victoria Maldonado, J. J., Fuentes-Cabrera, A., Fernández-Cerero, J., & Sadio-Ramos, F. J. (2024). Influencia de la Realidad Virtual en el rendimiento académico en Educación Secundaria a través de un meta-análisis. Pixel-Bit, Revista de Medios y Educación, 71, 107–121. https://doi.org/10.12795/pixelbit.104279
Wang, J., Ma, Q., & Wei, X. (2023). The application of extended reality technology in architectural design education: A review. Buildings, 13(12), 2931. https://doi.org/10.3390/buildings13122931
Zilles Borba, E. (2020). Audiovisuales ampliados en la realidad virtual: Inmersión, multisensorial y escenarios 360°. Sphera Publica, 1(20), 78–94.
Copyright (c) 2025 Distance Education Journal
This work is licensed under a Creative Commons Attribution-NonCommercial 4.0 International License.
Las obras que se publican en esta revista están sujetas a los siguientes términos:
1. El Servicio de Publicaciones de la Universidad de Murcia (la editorial) conserva los derechos patrimoniales (copyright) de las obras publicadas, y favorece y permite la reutilización de las mismas bajo la licencia de uso indicada en el punto 2.
2. Las obras se publican en la edición electrónica de la revista bajo una licencia Creative Commons Reconocimiento-NoComercial-SinObraDerivada 3.0 España (texto legal). Se pueden copiar, usar, difundir, transmitir y exponer públicamente, siempre que: i) se cite la autoría y la fuente original de su publicación (revista, editorial y URL de la obra); ii) no se usen para fines comerciales; iii) se mencione la existencia y especificaciones de esta licencia de uso.
3. Condiciones de auto-archivo. Se permite y se anima a los autores a difundir electrónicamente las versiones pre-print (versión antes de ser evaluada) y/o post-print (versión evaluada y aceptada para su publicación) de sus obras antes de su publicación, ya que favorece su circulación y difusión más temprana y con ello un posible aumento en su citación y alcance entre la comunidad académica. Color RoMEO: verde.
