Qué se pregunta y qué se entiende:
Análisis de algunos conceptos utilizados en la encuesta de opinión de los estudiantes sobre la docencia

In this article the authors describe a study they carried out at the Universitat de Lleida during the academic year 2000-01 with a double goal in mind. The first goal was to learn about the extent to which some of the key concepts used in the questionnaire for the students’ opinion about the quality of teaching constitute objective categories. The initial hypothesis was that because of the low degree of objectivity of certain categories that appear in the questionnaire, there would be not only a high level of dispersion in the answers given by the subjects but also a significant degree of overlap among them. The second goal of the study was to explore the possibility that the instrument designed might be used at the initial stage of a course to promote the exchange of points of views and expectations about the quality of teaching between teacher and students. The results obtained confirm the initial hypothesis and point towards a series of competencies that might orient the teaching task as well as the design of future questionnaires. At the same time, the study has shown that the instrument used in the study is a useful means of promoting collective reflection in the classroom as long as the teacher responds the same questionnaire as the students and shares his/her answers with them.

Keywords: assessment of teaching, student questionnaires, quality assurance.

Resumen

En este artículo se describe un estudio llevado a cabo en la Universitat de Lleida (UdL) durante el curso 2000-01 con un doble objetivo. En primer lugar, se pretendía averiguar en qué medida algunos de los conceptos clave en la encuesta de opinión de los estudiantes sobre la docencia constituyen categorías objetivas. La hipótesis de partida era la de que debido a la naturaleza poco objetiva de algunas categorías que se utilizan en la encuesta, cuando se preguntase a los estudiantes sobre los posibles indicadores objetivos que reflejan cada una de esas categorías, se produciría no sólo un alto grado de dispersión en las respuestas sino también un significativo solapamiento entre ellas. El segundo objetivo del estudio era el de explorar la posibilidad de que el instrumento utilizado pudiese servir también como herramienta para que profesores y estudiantes intercambiasen sus respectivos puntos de vista y expectativas con relación a la calidad de la docencia. Los resultados del trabajo corroboran la hipótesis inicial y apuntan un conjunto de competencias que pueden ser orientativas tanto para el desarrollo de la docencia como para el diseño de futuros modelos de encuesta. Al mismo tiempo, se confirma la utilidad del cuestionario utilizado en el estudio como instrumento de reflexión conjunta entre docente y discentes es útil, siempre y cuando el primero responda el mismo cuestionario que los alumnos e intercambie sus respuestas con ellos.

Palabras clave: evaluación del profesorado, questionarios de alumnos, garantía de calidad.

La opinión de los estudiantes constituye uno de los elementos a tener en cuenta a la hora de evaluar la calidad de la docencia. Así, la Agència per a la Qualitat del Sistema Universitari a Catalunya (2001), propone cinco procedimientos que se pueden utilizar en la evaluación de la docencia: autoevaluación del profesor, evaluación por responsables académicos, evaluación por los alumnos, evaluación por colegas, evaluación de los aprendizajes de los estudiantes. A pesar de las recomendaciones que se han hecho sobre la necesidad de diversificar las fuentes de evaluación de la docencia (véase Rodríguez, 1993; De Miguel, 1998), el sistema universitario español para evaluar a sus docentes parece, hasta el momento, haber apostado exclusivamente por el uso de las encuestas de opinión de los estudiantes sobre la docencia que reciben (EOED).
En esta situación, nada deseable, en la que la evaluación de la calidad de la docencia se apoya únicamente en el procedimiento de la EOED, los contenidos de este instrumento pasan a tener una mayor transcendencia que en el caso de que se utilizase conjuntamente con otros instrumentos. Aunque las evidencias que aparecen en los trabajos sobre el tema (véase Apodaca y Rodríguez, 1999; Escudero, 1999) apoyan la validez de las EOED, entre el profesorado se dan con relativa frecuencia actitudes contrarias al instrumento que se basan, más que en el uso de la encuesta en si, en la falta de claridad de las dimensiones o competencias que se pretende evaluar. Por otro lado, parece obvio que para que la EOED tengan una verdadera función formativa debe basarse en unos conceptos sobre la calidad de la docencia compartidos por profesores y estudiantes, que se refieran de forma clara a prácticas o competencias docentes concretas, susceptibles de ser observadas e incluso medidas.
En la Universitat de Lleida (UdL) la encuesta de opinión de los estudiantes sobre la docencia se viene realizando cuatrimestralmente desde el curso académico 1994-1995. El formato actual incluye, por un lado, un apartado con 14 afirmaciones relacionadas con el profesorado y la asignatura; para responder, el alumno tiene que mostrar su grado de acuerdo o desacuerdo otorgando a cada una de las afirmaciones una puntuación de entre 1 (muy en desacuerdo) y 5 (muy de acuerdo). Por otro lado, los alumnos también tienen la posibilidad de hacer comentarios en una hoja aparte, los cuales se hacen llegar al profesor junto con los resultados de la encuesta. El modelo de encuesta se presenta en el Cuadro 1.

Cuadro 1. Modelo de encuesta de opinión al estudiante sobre la docencia en la Universitat de Lleida

El estudio que se describe a continuación se planteó con la finalidad de recoger información sobre los significados que alguno de los conceptos clave en los que se basa la encuesta pueden tener para los estudiantes. El objetivo era averiguar en qué medida la encuesta utiliza unas categorías más o menos inequívocas, sobre cuya interpretación se pudiese afirmar que existe un cierto consenso. Como es sabido, cuando se desea hacer un tratamiento cuantitativo de datos es preciso poner especial atención en la utilización de unos enunciados y conceptos que sean objetivos para, de esta forma, evitar que los resultados se vean deformados por las distintas interpretaciones de los sujetos. Nuestra hipótesis era que algunos de los conceptos sobre los cuales se pregunta a los estudiantes están sujetos a interpretaciones muy variadas y, como consecuencia de ello, se produciría no sólo un alto grado de dispersión en las respuestas a las diferentes preguntas sino también un significativo solapamiento entre ellas. El análisis efectuado es de tipo cualitativo, buscando únicamente las distintas categorías con las que los estudiantes asocian cada uno de los conceptos.
La asociación de distintos conceptos que se manejan en la encuesta con competencias docentes específicas puede contribuir a una mejor comprensión no sólo de lo que se pregunta al estudiante sino también de los resultados que se obtienen en un modelo de evaluación cerrada como el que se utiliza en la mayoría de las universidades para obtener la opinión de los estudiantes. Al mismo tiempo, el análisis en competencias puede dar indicios al profesor para cambiar o desarrollar aspectos concretos que le ayuden a mejorar su docencia.
Un objetivo subsidiario del estudio, sobre el que creemos que sería conveniente profundizar en futuros trabajos, era el de ver hasta qué punto el instrumento utilizado se podría plantear como una herramienta pedagógica para que docente y estudiantes intercambiasen sus puntos de vista sobre la calidad de la docencia y establecieran de una forma clara sus expectativas. En este sentido, el estudio puede enmarcarse dentro de una orientación según la cual la mejora de la calidad de la docencia debe pasar necesariamente por el desarrollo de herramientas que promuevan la reflexión y el diálogo entre docentes y discentes sobre sus papeles respectivos en la situación de enseñanza / aprendizaje en la que participan (Parrott, 1993; Richards & Lockart, 1994).
El trabajo que presentamos constituye la primera fase de un estudio más amplio cuya finalidad es la de obtener conclusiones sobre el pensamiento de los estudiantes sobre la calidad de la docencia y, más concretamente, sobre los distintos tipos de competencias que para ellos son importantes en el desarrollo de una docencia de calidad. El estudio se apoya en una adaptación de la técnica del Método Delphi tal y como se propone en los trabajos de Simpson y Smith (1993) y Smith y Simpson (1995). Dicha técnica incluye una primera fase en la que un panel de individuos expertos generan una serie de afirmaciones sobre un tema concreto. En el segundo estadio, los expertos puntúan cada una de las afirmaciones realizadas por el grupo según la importancia que le asignen en la definición del tema concreto. En la tercera fase, y una vez sistematizados los resultados, cada experto puede reconsiderar sus opiniones en vista de las opiniones de los demás, debiendo clarificar o justificar aquellas calificaciones propias que difieren claramente de las del resto de miembros del panel.
En el artículo se presentan exclusivamente los resultados obtenidos en la primera fase del estudio. El instrumento utilizado consistió en un cuestionario que se pasó el primer día de clase del primer cuatrimestre del curso 2000-2001 a un grupo de estudiantes de tercer curso y a otro grupo de cuarto curso de Filología Inglesa de la UdL. En total participaron 43 alumnos. En el cuestionario (Cuadro 2), se pedía a los alumnos que explicasen de manera esquemática cómo ellos creían que se traducían en acciones concretas las definiciones siguientes: buen/a profesor/a, exponer conceptos con claridad, fomentar la participación de los estudiantes, utilizar métodos de enseñanza eficaces y motivar el interés hacía la asignatura. Con el formato de respuesta, dividido en tres apartados, se pretendía obligar a los alumnos a realizar un esfuerzo de síntesis, estructurando su punto de vista mediante conceptos concretos que pudieran asociarlos con aquellos sobre los que se les preguntaba. Los estudiantes tenían también la opción de añadir más respuestas si lo consideraban necesario.

Cuadro 2. Cuestionario utilizado para el estudio

El análisis de las respuestas se ha efectuado agrupándolas en 5 categorías:

1. Discurso en el aula: aspectos formales de la comunicación que se produce en el aula.
2. Contenidos y organización: aspectos relacionados con la estructura global de la asignatura.
3. Recursos: aspectos que hacen referencia a la utilización de medios auxiliares para el desarrollo de la tarea docente.
4. Personalidad: aspectos referidos exclusivamente a aquellas características del docente que no dependen de su formación académica o pedagógica.
5. Relación profesor/a-alumno/a: aspectos relativos a la definición del tipo de interacción social entre los roles de alumno y de profesor.

3.1. El buen docente

Como se puede ver en la Tabla 1, la respuesta a la pregunta referente a las características más importantes que para los estudiantes ha de tener un/a buen/a profesor/a muestra un alto grado de dispersión conceptual. Quizás el hecho más curioso es que la mayor parte de los conceptos que se mencionan en las respuestas no hagan referencia al dominio de los contenidos de la asignatura por parte del profesor. Pensamos que esto puede interpretarse de dos maneras: (a) los estudiantes dan por sentado que el profesorado universitario conoce la materia, ya que en caso contrario no trabajaría en la universidad; (b) para los estudiantes los procedimientos, las formas, son más importantes que los contenidos a la hora de realizar la tarea docente.

Tabla 1. Característica de un/a buen/a profesor/a

3.2. Exposición clara de conceptos

El segundo aspecto relacionado con la calidad de la docencia que se preguntaba al alumno se refiere a la exposición clara de conceptos. Dado que en la primera pregunta una buena parte de las respuestas se centraban en el discurso del profesor, era de esperar que nos encontraríamos con un alto grado de coincidencia con la segunda pregunta, en la que se pone énfasis precisamente en este aspecto. Como puede verse en la Tabla 2, este es el caso especialmente de las respuestas que agrupamos bajo la categoría Discurso en el aula. La relativa importancia de respuestas que hacen referencia a la dicción (pronunciación clara) podría deberse a que los estudiantes que respondieron el cuestionario eran de filología inglesa y, por tanto, reciben una gran parte de su docencia en una lengua extranjera que aún no dominan totalmente.

 

Tabla 2. Aspectos relacionados con la exposición de conceptos con claridad.

 

3.3. Fomento de la participación de los estudiantes

En relación al fomento de la participación de los estudiantes en las clases, las respuestas se pueden agrupar de la forma que presentamos en la Tabla 3. Como se puede apreciar, para los estudiantes el fomento de la participación no pasa simplemente por hacer que el formato de clase tenga un estilo más conversacional (aspectos que recogemos en la primera columna, bajo la categoría Discurso en el aula). Un aspecto bastante importante parece ser también la planificación de las distintas actividades que constituirán la estructura de la sesión de clase (segunda columna: Contenidos y organización). En tercer lugar, las respuestas inciden sobre la relación personal que el docente establece con los estudiantes como un elemento que fomenta la participación.

 

Tabla 3. El fomento de la participación de los estudiantes en las clases.

 

3.4. Métodos de enseñanza eficaces

Cuando se pide a los estudiantes qué esperan de un/a docente que utiliza métodos eficaces, las respuestas que se reflejan en la Tabla 4 son, una vez más, muy variadas. Quizás lo que más destaca es que hay muchas respuestas que no se centran en el uso de recursos pedagógicos suplementarios como podrían ser los medios audiovisuales o las nuevas tecnologías. Parece que para los alumnos un método eficaz se basa más bien en un diseño adecuado de los contenidos y de la organización de la clase y en el énfasis en la participación de los estudiantes.

 

Tabla 4. Utilización de métodos eficaces

 

3.5. Motivación del interés de los estudiantes

La última pregunta relacionada con la calidad de la docencia que se hacía versaba sobre aquello que caracteriza una acción docente que motiva el interés de los estudiantes hacía la asignatura. En las respuestas, incluidas en la Tabla 5, se puede apreciar que el grupo que muestra una mayor dispersión es el de Contenidos y organización. Obviamente, esto no implica que haya un mayor número de respuestas sino que el alumnado efectúa un análisis más detallado de este aspecto.

Tabla 5. Motivación del interés de los estudiantes hacía la asignatura

5. Para no concluir

El análisis efectuado muestra un alto grado de dispersión y coincidencia con relación a las competencias concretas que los estudiantes asocian con cinco conceptos clave en la encuesta de opinión de los estudiantes sobre la docencia en la UdL: ser buen/a profesor/a, exponer los conceptos con claridad, fomentar la participación de los estudiantes, utilizar métodos de enseñanza eficaces y motivar el interés hacía la asignatura. A pesar de esta dispersión, es posible agrupar las respuestas en cinco categorías, las cuales reflejan lo que podría considerarse como elementos centrales que los estudiantes utilizan para su definición de la buena docencia: discurso en el aula, contenidos y organización, personalidad, recursos, relación entre docente y discentes.

El hecho de que alguna de estas cinco categorías incluya una mayor variedad de respuestas se puede interpretar bien como resultado de un análisis más profundo por parte de los estudiantes que participaron en el estudio, bien como un indicador de la ambigüedad o bien como un reflejo del la amplitud del tema. En cualquier caso, tanto la dispersión en las competencias que se mencionan para cada categoría como el solapamiento que se produce entre las mismas categorías deberían hacernos cuestionar la validez de las preguntas que incorporan los conceptos analizados, ya que podríamos estar preguntando repetidamente sobre aspectos de la docencia que para los estudiantes tienen significados muy próximos.

Del análisis también se desprende que los estudiantes son capaces de, articular su concepción sobre la buena docencia. Quizás lo que sería preciso es disponer de oportunidades para debatir esta concepción tanto con los/las compañeros/as como con el docente. De este debate podría salir una relación de buenas prácticas de tipo general, que serían las que constituirían el contenido de la encuesta de opinión, y otras más específicas, que harían referencia al contexto de la asignatura concreta.

Como hemos dicho al iniciar este artículo, además de permitirnos obtener una idea más precisa de las competencias que los estudiantes asocian con distintos aspectos que en la encuesta se presentan como indicios de calidad de la docencia, hemos creído que la experiencia realizada podía servir también como herramienta para que profesores y estudiantes intercambiasen sus respectivos puntos de vista con relación a la calidad de la docencia en general y en una asignatura concreta. En uno de los dos grupos en los que se pasó el cuestionario el profesor no respondió y se limitó a escuchar las respuestas de los alumnos mostrando, cuando creía conveniente, su grado de acuerdo o desacuerdo. Con el otro grupo el profesor iba respondiendo el cuestionario mientras lo hacían los alumnos. Esto permitió no sólo que el intercambio posterior de puntos de vista fuese más ágil, sino también que los alumnos lo viesen no como otro ejercicio de evaluación del profesor sino como un intercambio de opiniones más genuino.

En general, los alumnos respondieron todas las preguntas, a pesar de que se les dio la opción de dejar la respuesta en blanco si no sabían qué responder. Es probable que esto se deba también al hecho de que los estudiantes eran de segundo ciclo, con bastante experiencia sobre la docencia universitaria. Sería necesario pues, comparar estas respuestas con las que podrían dar alumnos de primer ciclo, con una experiencia universitaria más corta.

Es obvio que la experiencia que hemos descrito supone sólo un pequeño paso hacia el camino que las universidades tenemos por recorrer en el fomento de la calidad de la docencia. El estudio nos ha permitido confirmar nuestra hipótesis inicial sobre la ambigüedad de algunos conceptos utilizados en la encuesta de opinión. Al mismo tiempo, gracias al estudio hemos obtenido una relación de las competencias concretas, agrupadas en cinco categorías, que para los estudiantes son indicadores de buena práctica docente. Finalmente, con el instrumento diseñado para el estudio hemos conseguido que dos grupos de estudiantes reflexionaran con su respectivo profesor durante un tiempo sobre la calidad de la docencia.

Nos encontramos actualmente en unos momentos en los que la formación en docencia ha abandonado casi totalmente la creencia en el buen método o la buena técnica pedagógica. En su lugar, se propone la reflexión sobre la propia tarea y la de los otros como uno de los medios más efectivos para cambiar y mejorar. En buena parte, el desarrollo de la competencia profesional como docente pasa por un mejor conocimiento de los alumnos, de la forma en que están dispuestos a aprender y participar en el proceso de aprendizaje. En buena parte también, este desarrollo profesional comporta que el docente sea capaz de identificar sus propias concepciones sobre la naturaleza de la enseñanza y el aprendizaje, integrando su experiencia y sus conocimientos.

Es posible que en nuestras universidades haya gente que aun se encuentre anclada en el viejo esquema de la comunicación, según el cual interactuar con los otros significa trasmitir unidades de información preexistentes. Nosotros somos más partidarios de pensar que comunicarse quiere decir estar dispuesto a participar en una actividad cooperativa en la que los significados (al fin y al cabo el mundo que cada uno de nosotros/as experimentamos) son creados y recreados constantemente. Es por eso que pensamos que la mejora de la calidad en nuestras universidades ha de venir principalmente de la voluntad que todos tengamos de entrar en un proceso de reflexión y diálogo sobre nuestros mundos.

Agència per a la Qualitat del Sistema Universitari a Catalunya. (2001) Marc general de l’avaluació del professorat. Barcelona: Canon Editorial.
Apodaca, P. y Rodríguez, M. (1999) La opinión de los alumnos en la evaluación de la calidad docente: posibilidades, limitaciones y estructura dimensional de sus indicadores. Indicadores en la Universidad: información y decisiones. Madrid: Consejo de Universidades, Ministerio de Educación y Cultura, 311-327.
De Miguel, M. (1998) La evaluación del profesorado universitario. Criterios y propuestas para mejorar la función docente. Revista de Educación, 315, 67-83.
Escudero, T. (1999) Los estudiantes como evaluadores de la docencia de los profesores: nuestra experiencia. Revista Interuniversitaria de Formación del Profesorado, 34-69-86.
Parrott, M. (1993) Tasks for language teachers. Cambridge: Cambridge University Press.
Richards, J. y Lockhart, C. (1994) Reflective teaching in second language classrooms. Cambridge: Cambridge University Press.
Rodriguez Espinar, S. (1993) Experiencias españolas de evaluación de la enseñanza universitaria y nuevas perspectivas: Otro punto de vista. III Jornadas Nacionales de Didáctica Universitaria. Evaluación y desarrollo profesional. Universidad de Las Palmas de Gran Canaria, 110-128.
Simpson, K. y Smith, K. (1993) Validating teaching competencies for graduate teaching assistants: a national study using the Delphi Method. Innovative Higher Education, 18, 2, 133-146.
Smith, K. y R. Simpson. (1995) Validating teaching competencies for faculty members in higher education: a national study using the Delphi Method. Innovative Higher Education, 19, 3, 223-234.