Proposal for an assessment methodology to assess skills by using complex tasks within virtual learning environments
Supporting Agencies
- Comisión Europea Proyecto DevalSimWeb Nº de contrato DCI-ALA/19.09.01/11/21526/264-773/ALFAIII(2011)-10
Abstract
This article presents a methodology to assess the skill level of university students in five skills: analytical and critical thought, problem solving, sense of Ethics, decision making and teamwork. The introduction focuses on two conceptuals foci in which the study is based, skills assessment through complex tasks and a digital context with e-rubrics. In the second section the proposal is contextualized in the DevalsimWeb Project in which it arises, skills are defined and a description of the fundamental aspects of APREVAL-DevalSimWeb Training Course is offered. In method are specified the questions that guide the proposal, the procedure and the methodological design of the evaluation proposal, according to Expert Desing Method. The results reflect the methodological proposal made on the basis of complex tasks and applying e-rubrics before and after the completion of the training course to assess the skill level of first year university students. The article ends with conclusions and research associated with the proposal. An annex is provided for the description of complex tasks specifying the situations/problems raised, the resources used and the specific evaluation activities for each skill, before and after implementation of the training course together with the five e-rubrics for each skill.Downloads
References
Álvarez-Rojo, V. (1998). Diseño de programas de orientación. En X. Salvador & M.L. Rodicio (Eds.), Actas del Simposium sobre Orientación: ¿Para onde camiña a orientación? (pp. 142-168). A Coruña: Universidade de A Coruña
Andreu-Andrés, M. A., & García-Casas, M. (2014). Evaluación del pensamiento crítico en el trabajo en grupo. Revista de Investigación Educativa, 32(1), 203-222. http://dx.doi.org/10.6018/rie.32.1.157631
Ashford-Rowe, K., Herrington, J., & Brown, C. (2014). Establishing the critical elements that determine authentic assessment. Assessment & Evaluation in Higher Education, 39(2), 205-222. http://dx.doi.org/10.1080/02602938.2013.819566
Baartman, L., & Ruijs, L. (2011). Comparing students’ perceived and actual competence in higher vocational education. Assessment & Evaluation in Higher Education, 36(4), 385-398. http://dx.doi.org/10.1080/02602938.2011.553274
Belloch, C. (2012). Entornos virtuales de aprendizaje. Unidad de Tecnología Educativa (UTE). Universidad de Valencia. https://goo.gl/TaUViS
Bennett, R.E. (2002). Inexorable and inevitable: The continuing story of technology and assessment. Journal of Technology, Learning and Assessment 1(1). https://goo.gl/52v5ja
Boneu, J.M. (2007). Plataformas abiertas de e-learning para el soporte de contenidos educativos abiertos. Revista de Universidad y Sociedad del Conocimiento 4(1). https://goo.gl/SV0Ja
Bridgeman, B. (2009). Experiences from large-scale computer-based testing in the USA, in F. Scheuermann & J. Björnsson (Eds.), The Transition to Computer-Based Assessment. Luxembourg, Office for Official Publications of the European Communities.
Buján, K., Rekalde, I., & Aramendi, P. (2011). Las rúbricas de evaluación en formación de competencias. En K. Bujan; I. Rekalde & P. Aramendi (Coords.) La evaluación de competencias en la educación superior (pp. 75-97). Sevilla: MAD, S.L.
Corral, Y. (2009). Validez y confiabilidad de los instrumentos de investigación para la recolección de datos. Revista de Ciencias de la Educación, 19(33), 228-247. https://es.scribd.com/doc/48628674/Validez-y-confiabilidad-de-instrumentos
De la Cruz, G., & Abreu, L.F. (2014). Rúbricas y autorregulación: pautas para promover una cultura de la autonomía en la formación profesional terciaria. REDU: Revista de Docencia Universitaria, 12, 31-48. https://dialnet.unirioja.es/ejemplar/365061
Delgado, A.M. (Dir.). (2005). Competencias y diseño de la evaluación continua y final en el Espacio Europeo de Educación Superior. Programa de Estudios y Análisis, Ministerio de Educación y Ciencia (MEC). https://goo.gl/BZgFzr
Delgado, A.M., & Oliver, R. (2006). La evaluación continua en un nuevo escenario docente. RUSC. Universities and Knowledge Society Journal, 3(1). https://goo.gl/rv2sCi
Dresel, M.G. (2015). Competencies for successful self-regulated learning in higher education: structural model and indications drawn from expert interviews. Studies in Higher Education, 40(3), 454-470. http://www.tandfonline.com/doi/abs/10.1080/03075079.2015.1004236
Eyal, L. (2012). Digital Assessment Literacy - the Core Role of the Teacher in a Digital Environment. Educational Technology & Society, 15, 37-49. http://www.ifets.info/journals/15_2/5.pdf
Fernández March, A. (2011). La evaluación orientada al aprendizaje en un modelo de formación por competencias en la enseñanza universitaria. En K. Bujan, I. Rekalde & P. Aramendi (Coords.), La evaluación de competencias en la educación superior (pp. 37-57). Sevilla: MAD, S.L.
García, M.P. (2014). La evaluación de competencias en Educación Superior mediante rúbricas: un caso práctico. Revista Electrónica Interuniversitaria de Formación del Profesorado 17(1), 87-106. http://dx.doi.org/10.6018/reifop.17.1.198861
Gómez-Ruiz, M.A., Rodríguez-Gómez, G., & Ibarra-Sáiz, M.S. (2013). Desarrollo de las competencias básicas de los estudiantes de Educación Superior mediante la e-Evaluación orientada al aprendizaje. RELIEVE. Revista Electrónica de Investigación y Evaluación Educativa, 1(19), 1-17. https://goo.gl/JMXbAx
Gulikers, J., Bastiaens, T., & Kirschner, P. (2004). A five-dimensional framework for authentic assessment. Educational Technology Research and Development, 52(3), 67-86. https://racetothetopvolusia.wikispaces.com/file/view/A+Five+Dimensional+Framework+for+Authentic+Assessment.pdf
Hack, C. (2015). Analytical rubrics in higher education: A repository of empirical data. British Journal of Educational Technology, 46(5), 924-927. http://doi.org/10.1111/bjet.12304
Ibarra-Sáiz, M.S., & Rodríguez-Gómez, G. (2014a). Aportaciones para la formación del profesorado y estudiantes de Educación Superior en e-Evaluación: herramientas tecnológicas facilitadoras. En Proceedings of the VII International GUIDE Conference Cultura en la modernización global: El papel de la educación a distancia. https://goo.gl/btq09m
Ibarra-Sáiz, M.S., & Rodríguez-Gómez, G. (2014b). Formación del profesorado universitario en evaluación: análisis y prospectiva del Programa Formativo EVAPES- DevalSimWeb “Evaluación para el aprendizaje en la Educación Superior”. En Congreso Iberoamericano de Ciencia, Tecnología, Innovación y Educación. Buenos Aires. Organización de Estados Iberoamericanos para la Educación, la Ciencia y la Cultura. https://goo.gl/MFmbEa
Ibarra-Sáiz, M.S. & Rodríguez-Gómez, G. (2017). EvalCOMIX®: a Web-Based Programme to Support Collaboration in Assessment. En T. Issa, P. Kommers, T. Issa, P. Isaías, & T.B. Issa (Eds.), Smart Technology Applications in Business Environments (pp. 249-275). Hershey, PA: IGI Global.
Ibarra-Sáiz, M.S., Rodríguez-Gómez, G., & García-Jiménez, E. (2013). DevalSimWeb_ Catalogue of transversal assessment skills. Cadiz: EVALfor Research Group.
Ibarra-Sáiz, M.S., Rodríguez-Gómez, G., & García-Jiménez, E. (2016). Tareas de calidad: Caracterización I. [Microvídeo]. Cádiz: EVALfor - Grupo de Investigación. https://goo.gl/f5hP58
Joint Committee on Standards for Educational Evaluation. (2002). The student evaluation standard: How to improve evaluations of students. Thousands Oaks, CA: Corwin.
Jonsson, A., & Svingby, G. (2007). The Use of Scoring Rubrics: Reliability, Validity and Educational Consequences. Educational Research Review, (2), 130-144. http://dx.dx.doi.org/10.1016/j.edurev.2007.05.002
Kamphorst, J., Hofman, W., Jansen, E., & Terlouw, C. (2013). The relationship between perceived competence and earned credits in competence-based higher education. Assessment & Evaluation in Higher Education 38(6), 646-661. http://dx.doi.org/10.1080/02602938.2012.680015
Lester, S. (2014). Professional competence standards and frameworks in the United Kingdom. Assessment & Evaluation in Higher Education 39(1), 38-52. https://doi.org/10.1080/02602938.2013.792106
Litwin, M. S. (2003). How to Assess and Interpret Survey Psychometrics. Thousands Oaks, CA: SAGE Publications.
Liu, X., & Li, L. (2014). Assessment training effects on student assessment skills and task performance in a technology-facilitated peer assessment. Assessment & Evaluation in Higher Education, 39(3), 275-292. http://dx.doi.org/10.1080/02602938.2013.823540
Menéndez-Varela, J.L., & Gregori-Giralt, E. (2016). The contribution of rubrics to the validity of performance assessment: a study of the conservation–restoration and design undergraduate degrees. Assessment & Evaluation in Higher Education, 41(2), 228-244. http://doi.org/10.1080/02602938.2014.998169
Mueller, D., & Strohmeier, S. (2011). Design characteristics of virtual learning environments: state of research. Computers & Education 57(4), 2505-2516. http://dx.doi.org/10.1016/j.compedu.2011.06.017
Olmos Migueláñez, S., & Rodríguez Conde, M.J. (2011). Perspectiva tecnológica de la evaluación educativa en la universidad. Teoría de la Educación 23(1), 131-157. http://campus.usal.es/~revistas_trabajo/index.php/1130-3743/article/viewFile/8581/8813
Peris Ortiz, M., & Merigó Lindahl, J.M. (Eds.). (2015). Sustainable learning in higher education, innovation, technology, and knowledge management. London: Springer-Verlag. http://dx.doi.org/10.1007/978-3-319-10804-9_1
Poblete, M., & Villa, A. (2011). SEBSCO, una experiencia alternativa para evaluar competencias. Aula Abierta, 39(3), 15-30. https://dialnet.unirioja.es/servlet/articulo?codigo=3691465
Redecker, C., & Johannessen, O. (2013). Changing assessment—Towards a new assessment paradigm using ICT. European Journal of Education, 48(1), 79-96. http://dx.doi.org/10.1111/ejed.12018
Reddy, Y., & Andrade, H. (2010). A Review of Rubric Use in Higher Education. Assessment & Evaluation In Higher Education, 35(4), 435-448. http://dx.doi.org/10.1080/02602930902862859
Rodríguez-Gómez, G., & Ibarra-Sáiz, M.S. (Eds.) (2011). e-Evaluación orientada al e-Aprendizaje estratégico en la Universidad. Madrid: Narcea.
Rodríguez-Gómez, G., & Ibarra-Sáiz, M.S. (2015). Assessment as Learning and Empowerment: Towards Sustainable Learning in Higher Education. En M. Peris- Ortiz & J. M. Merigó Lindahl (Eds.), Sustainable Learning in Higher Education. Developing Competencies for the Global Marketplace (pp. 1-20). Springer International Publishing. http://dx.doi.org/10.1007/978-3-319-10804-9_1
Rodríguez-Gómez, G., Ibarra-Sáiz, M.S., & Cubero-Ibáñez, J. (2018). Competencias básicas relacionadas con la evaluación. Un estudio sobre la percepción de los estudiantes universitarios. Educación XXI, 21(1), 181-208. http://dx.doi.org/10.5944/educXX1.14457
Rubio, M.J., Tocaín Garzón, A.L., & Ruiz Quiranza, R. (2014). Programa formativo APREVAL DevalSimWeb: aprender evaluando en la Educación Superior: manual del formador. Ecuador: Ibarra.
Sliney, A., & Murphy, D. (2011). Using serious games for assessment. In M. Ma, A. Oikonomou, & L. C. Jain (Eds.), Serious Games and Edutainment Applications (pp. 225-243). Springer. https://doi.org/10.1007/978-1-4471-2161-9_12
Skjong, R. & Wentworth, B. (2000). Expert Judgement and Risk Perception. http://research.dnv.com/skj/Papers/SkjWen.pdf
Tejada, J., & Ruiz, C. (2016). Evaluación de competencias profesionales en Educacion Superior: Retos e implicaciones. Educación XXI, 19(1), 17-38. http://dx.doi.org/10.5944/educXX1.12175
Tomas, C., Borg, M., & McNeil, J. (2015). E-assessment: Institutional development strategies and the assessment life cycle. British Journal of Educational Technology, 46(3), 588-596. http://dx.doi.org/10.1111/bjet.12153
Villa, A., & Poblete, M. (2007). Aprendizaje Basado en Competencias. Una propuesta para la evaluación de las competencias genéricas. Bilbao: Mensajero.
Villa, A., & Poblete, M. (2011). Evaluación de competencias genéricas: principios, oportunidades y limitaciones. Bordón: Revista de Pedagogía, 63(1), 147-170. http://www.innova.deusto.es/images/archivos/evaluaci%C3%B3n_competencias_aurelio_bordon.pdf
Villardón, L. (2006). Evaluación del aprendizaje para promover el desarrollo de competencias. Educatio Siglo XXI, 24. http://revistas.um.es/educatio/article/view/153
Zabala, A., & Arnau, L. (2008). Evaluar competencias es evaluar procesos en la resolución de situaciones problema. En A. Zabala y L. Arnau, 11 Ideas clave: cómo aprender y enseñar competencias. Barcelona: Graó.
Zlatkin-Troitschanskaia, O., Shavelson, R.J., & Kuhn, C. (2015). The international state of research on measurement of competency in higher education. Studies in Higher Education 40(3), 393-411. http://dx.doi.org/10.1080/03075079.2015.1004241
The articles and scientific documents published in RIE abide the following conditions:
1. The Servicio de Publicaciones de la Universidad de Murcia (the publisher) has the property rights (copyright) of all the documents published and allows the reuse under the user’s license indicated in point 2.
2. All documents are published in the digital edition of RIE under a Creative Commons Reconocimiento-NoComercial-SinObraDerivada 3.0 España (legal document) license. These documents can be copied, used, distributed, communicated and explained publicly if: i) the author(s) and its original source of publishing (magazine, publisher and URL of the document) are cited; ii) it is not used for commercial purpose; iii) the existence and the specifications about this license are mentioned.
3. Auto-archive’s conditions. The authors are allowed and encouraged to digitally distribute the pre-print versions (a version before evaluation) and/or post-print (a version that it is already evaluated and accepted to its publication). This promotes circulation and distribution earlier and can increase the citations and significance within the academic community.
