Implementation and results of a system to evaluate the quality of university teaching in a decade of experimentation
Abstract
The evaluation of the quality of university teaching has become for the last decade a topic of maximum relevance due to the impact it has on the new approach proposed in the European Higher Education Area (EHEA) and due to the change in the role that teachers must play. This article presents a pioneering system in the way the quality of teaching is evaluated through a double quality Label: I Design and Planning and II Implementation. The analyses and results presented refer exclusively to the label I applied for ten years. During this time, a total of 1930 teacher reports have been issued and 379 of them have been analysed through a stratified probabilistic sample. The method used was basically quantitative with a qualitative complement. The results show that there has been an improvement in teacher quality linked to a decrease in errors throughout the process analysed. This leads to a debate on the relevance of evaluation as a means of improvement and not exclusively as a summative function.
Downloads
References
Ajjawi, R. & Boud, D. (2017). Researching feedback dialogue: an interactional analysis approach. Assessment & Evaluation in Higher Education, 42(2), 252-265. doi:10.1080/02602938.2015.1102863
Aláez, M., García-Olalla, A., García-Feijoo, M. & Eizaguirre, A. (2018). Evaluación de la calidad docente en una facultad de derecho. Revista de Educación y Derecho, 17, 1-28. doi:10.1344/REYD2018.17.23482
Álvarez, P.R., López, D., Peña, R. y González, M.O. (2019). La guía docente en la planificación y desarrollo de la enseñanza universitaria. Revista electrónica Investigación y Docencia, 21, 7-24. doi: 10.17561/reid.n21.1
ANECA (2006). DOCENTIA, Programa de apoyo para la evaluación de la actividad docente del profesorado universitario. Modelo de evaluación. Recuperado de http://www.aneca.es
Biggs, J. & Tang, C. (2011). Calidad del aprendizaje universitario. Madrid: Narcea.
Campo, L. (2016). Evaluación de las competencias docentes en el ámbito universitario: un sistema de 360º. Aplicación en dos universidades chilenas (Tesis doctoral inédita). Universidad de Deusto, Bilbao.
Chalmers, D. (2008). Teaching and learning quality indicators in australian universities. University of Western Australia. En OECD, Outcomes of Higher Education: Quality relevance and impact. Paper for the IMHE 2008 General Conference, París, 8-10 septiembre 2018. Recuperado de http://www.oecd.org/site/eduimhe08/41216416.pdf
Council of Chief State School Officers (2013). InTASC Model core teaching standards and learning progressions for teachers. Washington: CCSSO. Recuperado de http://programs.ccsso.org/content/pdfs/corestrd.pdf
Devonshire, P. & Brailsford, I. (2012). Defining pedagogical standards and benchmarks for teaching performance in law schools: contrasting models in New Zeeland and the United Kingdom. The Law Teacher, 46(1), 50-64. doi: 10.1080/03069400.2012.644970
Eizaguirre, A., García-Olalla, A., Del Orden, O. & García-Feijoo, M. (2017). Principios básicos de la Pedagogía Ignaciana y su implantación en la Deusto Business School a través del Modelo Deusto de Formación. Estudios Empresariales, 1-2(50-51), 80-98.
ENQA (2005). Standards and guidelines for Quality Assurance in European Higher Education Area. Helsinki: ENQA. Recuperado de https://enqa.eu/wp-content/uploads/2015/09/ESG_3edition.pdf
ENQA (2015). Standards and Guidelines for Quality Assurance in the European Higher Education Area (ESG). Brussels: EURASHE. Recuperado de https://enqa.eu/wp-content/uploads/2015/11/ESG_2015.pdf
García-Olalla, A. (2014). El portafolio docente: un instrumento para evaluación y mejora de la práctica docente. Revista CIDUI, 2, 1-13. Recuperado de https://www.cidui.org/revistacidui/index.php/cidui/article/view/550
García-Olalla, A. & Auzmendi, E. (2012). Evaluación de la planificación de la docencia en las asignaturas de grado. Revista CIDUI, 1, 1-19. Recuperado de https://www.cidui.org/revistacidui/index.php/cidui/article/view/126
Hibbert, P. & Semler, M. (2016). Faculty development in teaching and learning: the UK framework and current debates. Innnovations in Education and Teaching International, 53(6), 581-591. doi: 10.1080/14703297.2015.1022201
Higher Education Academy (2011). The UK Professional Standards Framework for Teaching and Learning in Higher Education, Recuperado de https://www.heacademy.ac.uk
Kish, L. (1995). Diseño estadístico para la investigación. Madrid: Centro de Investigaciones Sociológicas.
Louden, W. (2000). Standards for standards: The development of Australian profesional standars for teaching. Australian Journal of Education, 44(2), 118-134. doi: 10.1177/000494410004400203
Macquarie University (2010). Teacher standards-individual level. Recuperado de http://mq.edu.au/learning-and-teaching/activities/research/docs/TeachingStandards_Individual.doc
Manríquez, L. (2012). ¿Evaluación en competencias? Estudios pedagógicos, 38(1), 353-366. doi: 10.4067/S0718-07052012000100022
Marbán, J. M. (Coord.) (2012). Análisis de las herramientas de evaluación de la Calidad Docente mediante contrastes basados en Estándares Internacionales de Excelencia. Madrid: Ministerio de Educación, Cultura y Deporte, Proyecto EA2011-0113.
McKenna, B., Nevo, D., Sttuflebeam, D, & Thomas, R. (1998). Guía profesional para la mejora de los sistemas de evaluación del profesorado. Bilbao: ICE de la Universidad de Deusto-INCE.
Muñoz-Cantero, J.M., Ríos, M.P. & Abalde, E. (2002). Evaluación docente vs. evaluación de la calidad. Revista ELectrónica de Investigación y Evaluación Educativa (RELIEVE), 8(2) 103-134. Recuperado de http://www.uv.es/RELIEVE/v8n2/RELIEVEv8n2_4.htm
National Board for Professional Teaching Standards (2016). What teachers should know and be able to do. Arlingthon: NBPTS. Recuperado de http://accomplishedteacher.org/wp-content/uploads/2016/12/NBPTS-What-Teachers-Should-Know-and-Be-Able-to-Do-.pdf
National Council for Accreditation of Teacher Education (2008). Professional standards for the accreditation of teacher preparation institutions. Washington. Recuperado de www.ncate.org
Navarro C. & Ramírez, M.S. (2018). Mapeo sistemático de la literatura sobre evaluación docente (2013-2017). Educaçao e Pesquisa, 44, 1-23. doi: 10.1590/s1678-4634201844185677
Paricio, J., Fernández, A. & Fernández, I. (Eds.) (2019). Cartografía de la buena docencia Universitaria. Madrid: Narcea.
Romero, S. (2014). Label 2: el portafolio del profesor como herramienta para la medida de la calidad docente. En actas del XI Congreso de Tecnologías, Aprendizaje y Enseñanza de la Electrónica (TAEE 2014), Bilbao: Universidad de Deusto. http://taee.etsist.upm.es/actas/2014/Actas_Congreso_TAEE_2014.pdf
Sadler, R. (2017). Academic achievements standards and quality assurance. Quality in Higher Education, 23(2), 81-99. doi: 10.1080/13538322.2017.1356614
Sanders, J.M. (1998). Estándares para evaluación de programas. Bilbao: Mensajero.
Serafini, F. (2002). Possibilities and challenges. The national board for professional teaching standars. Journal of Teacher Education, 53(4), 316-327. doi: 10.1177/0022487102053004004
Stufflebeam, D.L. (Dir) (2001). Estándares de Evaluación de Personal. Bilbao: Mensajero.
Texas Education Agency (2011). Texas educator certification preparation manual. Texas. Recuperado de https://tea.texas.gov/
Theurillat, D. & Gareca, B. (2015). Organización de docencia e investigación en universidades: Una exploración al caso chileno. Calidad en la Educación, 42, 120-160. doi:10.4067/S0718-45652015000100005
Universidad de Deusto (2007). Manual para la garantía interna de calidad docente: modelo de desarrollo profesional en la UD. Bilbao: Universidad de Deusto.
University of Auckland (2011). Guidelines for effective teaching. Teaching and learning quality committee. Auckland. Recuperado de http://www.auckland.ac.nz/webdav/site/central/shared/about/teaching-and-learning/policies-guidelines-procedures/documents/Guidelines-for-effective-teaching-2011.pdf
University of Western Australia (2009). Teaching criteria framework. Teaching quality indicators project. Centre for advancement of teaching and learning. Recuperado de http://www.catl.uwa.edu.au/tcf
Villa, A., Campo, L., Arranz, S., Villa, O. & García-Olalla, A. (2013). Valoración del profesorado de magisterio sobre el aprendizaje basado en competencias implantado. Profesorado, Revista de Currículum y Formación del Profesorado, 17(3), 35-55. Recuperado de https://www.redalyc.org/articulo.oa?id=56729527003
Villa, A. & García-Olalla, A. (2006). Garantía interna de calidad docente: propuesta de un modelo de desarrollo profesional en la Universidad de Deusto. En E. Arregui y otros (Coords.), Políticas de gestión de las organizaciones educativas. Implicaciones para el currículum universitario en el marco europeo. Oviedo: Universidad de Oviedo.
Villa, A. & García-Olalla, A. (2014). Un sistema de garantía de calidad de la docencia: un estudio de caso. Revista Electrónica Interuniversitaria de Formación del Profesorado, 17(3), 65-78. doi: 10.6018/reifop.17.3.204061
Copyright (c) 2022 Journal of Educational Research
This work is licensed under a Creative Commons Attribution-NonCommercial-NoDerivatives 4.0 International License.
The articles and scientific documents published in RIE abide the following conditions:
1. The Servicio de Publicaciones de la Universidad de Murcia (the publisher) has the property rights (copyright) of all the documents published and allows the reuse under the user’s license indicated in point 2.
2. All documents are published in the digital edition of RIE under a Creative Commons Reconocimiento-NoComercial-SinObraDerivada 3.0 España (legal document) license. These documents can be copied, used, distributed, communicated and explained publicly if: i) the author(s) and its original source of publishing (magazine, publisher and URL of the document) are cited; ii) it is not used for commercial purpose; iii) the existence and the specifications about this license are mentioned.
3. Auto-archive’s conditions. The authors are allowed and encouraged to digitally distribute the pre-print versions (a version before evaluation) and/or post-print (a version that it is already evaluated and accepted to its publication). This promotes circulation and distribution earlier and can increase the citations and significance within the academic community.
