Analysis of the opportunity to learn in the TERCE study of UNESCO

Authors

  • Samuel Fernández Fernández Universidad de Oviedo
  • Pamela Raquel Woitschach Universidad Complutense de Madrid
  • Marcos Alvarez-Díaz Consejería de Educación y Cultura del Principado de Asturias
  • Rubén Fernández Alonso Universidad de Oviedo
DOI: https://doi.org/10.6018/rie.36.2.307831
Keywords: opportunity to learn, instructional effectiveness, science achievement, hierarchical linear models

Abstract

The purpose of this study is to analyse the effect of Opportunity To Learn (OTL) on the performance of schools in Latin America, considering the results obtained in the Natural Sciences test of the Tercer Estudio Regional Comparativo y Explicativo (TERCE) (Third Regional Comparative and Explanatory Study of the United Nations Educational, Scientific and Cultural Organization (UNESCO). TERCE was carried out in 2013 in fifteen countries in Latin America and in the State of Nuevo Leon (Mexico). The sample was 61,937 students, with a mean age of 12.42 years (SD = 0.94). 49.6% are women, 69.4% attend a public school, 65.8% are allocated in an urban school and 18.1% have repeated an academic course. Four linear hierarchical models of three-level random intercepts (student, school and country) were applied. The HLM7.01 program was used. It can be observed that, among the main results, once the socioeconomic variables and the academic repetition background are discounted, the factors related to: climate, teaching practices, and teacher development -as OTL variables- have a positive remarkable effect on school performances.

Downloads

Download data is not yet available.

Author Biographies

Samuel Fernández Fernández, Universidad de Oviedo

Catedrático del Dpto. de cc. de la Educación

Pamela Raquel Woitschach, Universidad Complutense de Madrid

Estudiante de doctorado de la Universidad Complutense de Madrid

Marcos Alvarez-Díaz, Consejería de Educación y Cultura del Principado de Asturias

Técnico del Servicio de Evaluación Educativa

Rubén Fernández Alonso, Universidad de Oviedo

Profesor asociado del Dpt. de CC. de la Educación, Técnico del Servicio de Evaluación Educativa

References

Abadzi, H. (2009). Instructional time loss in developing countries: concepts, measure- ment, and implications. World Bank Research Observer, 24(2), 267-290. http://dx.doi.org/10.1093/wbro/lkp008

Angell, C., Kjærnsli, M., & Lie, S. (2006). Curricular effects in patterns of student res- ponses to TIMSS science items. En S. J. Howie & T. Plomp (Eds.), Contexts of learning mathematics and science (pp. 277–290). London: Routledge.

Bruns & Luque (2014). Great Teachers How to raise student learning in Latin America and the Caribbean. Washington DC: International bank for recosntruction and development/ The World Bank. http://dx.doi.org/10.1596/978-1-4648-0151-8

Carvallo, M. (2006). Factores que afectan el desempeño de los alumnos mexicanos en edad de educación secundaria: un estudio dentro de la corriente de eficacia esco- lar. Revista Iberoamericana sobre Calidad, Eficacia y Cambio en Educación, 4(3), 30-53. http://www.rinace.net/arts/vol4num3/art3.pdf

Carroll, J. B. (1963). A model of school learning. Teachers College Record, 64, 723-733.

Chaudhury, N., Hammer, J., Kremer, M., Muralidharan, K., & Rogers, F. H. (2006). Missing in action: Teacher and health worker absence in developing countries. Journal of Economic Perspectives, 20(1), 91-116. http://dx.doi.org/10.1257/089533006776526058

Cueto, S., Guerrero, G., Leon, J., Zapata, M. & Freire, S. (2014). The relationship bet- ween socioeconomic status at age one, opportunities to learn and achievement in mathematics in fourth grade in Peru. Oxford Review of Education, 40(1), 50-72. http://dx.doi.org/10.1080/03054985.2013.873525

Cueto, S., León, J., Ramírez, C., & Guerrero, G. (2008). Oportunidades de aprendizaje y rendimiento escolar en matemática y lenguaje: resumen de tres estudios en Perú. Revista Iberoamericana sobre Calidad, Eficacia y Cambio en Educación, 6(1), 29-41. https://revistas.uam.es/index.php/reice/article/view/5452/5891

Cueto, S., & Secada, W. (2003). Eficacia escolar en escuelas bilingues en Puno, Perú. Revista Electrónica Iberoamericana sobre Calidad, Eficacia y Cambio en Educación, 1(1), 1-23. https://goo.gl/2qrMaa

DeStefano, J., Friedlander, E., Adelman, E., & Schuh Moore, A. (2010). Using opportunity to learn and early grade reading fluency to measure school effectiveness: school quality in Nepal. USAID/ EQUIP2, Washington DC: FHI 360. https://www.epdc.org/sites/default/files/documents/OTL%20Nepal.pdf

Durlak, J. A., Weissberg, R. P., Dymnicki, A. B., Taylor, R. D., & Schellinger, K. B. (2011). The impact of enhancing students’ social and emotional learning: a meta- analysis of schoolbased universal interventions. Child Development, 82, 405-432. http://dx.doi.org/10.1111/j.1467-8624.2010.01564.x

Elliott, S. N. (2015). Measuring opportunity to learn and achievement growth: Key research issues with implications for the effective education of all students. Remedial and Special Education, 36(1), 58-64. http://dx.doi.org/10.1177/0741932514551282

Fernández, T. (2004). De las escuelas eficaces a las reformas educativas de segunda generación. Estudios Sociológicos, 22(65), 377-408. http://tabarefer-nandez.tripod.com/ee.pdf

Fernández, S., Fernández-Alonso, R., Arias, J. M, Fernández-Raigoso, M., & Burguera, J. L. (2016). Oportunidad de aprendizaje y eficacia docente. Análisis exploratorio de factores asociados. Bordón, 68(4), 49-65. http://dx.doi.org/10.13042/Bordon.2016.38075

Fernández-Alonso, R., Álvarez-Díaz, M., Suárez-Álvarez, J., & Muñiz J. (2017). Students’ achievement and homework assignment strategies. Frontiers in Psychology, 8, 286. http://dx.doi.org/10.3389/fpsyg.2017.00286

Fernández-Alonso, R. & Muñiz, J. (2011). Diseño de cuadernillos para la evaluación de las Competencias Básicas. Aula Abierta, 39(2), 3-34. https://dialnet.unirioja.es/servlet/articulo?codigo=3621228

Fernández-Alonso, R., Suárez-Álvarez, J., & Muñiz, J. (2012). Imputación de datos perdidos en las evaluaciones diagnósticas educativas. Psicothema, 24(1), 167-175. https://www.psicothema.com/pdf/3995.pdf

Fernández-Alonso, R., Suarez-Álvarez, J., & Muñiz, J. (2016). Homework and per- formance in mathematics: the role of the teacher, the family and the student´s background. Revista de Psicodidáctica, 21(1), 5-23. http://dx.doi.org/10.1387/RevPsicodidact.13939

Floden, R. E. (2002). The measurement of opportunity to learn. En A. C. Porter & A. Gamoran (Eds.), Methodological advances in cross-national surveys of educational achievement. Washington: NRC. http://dx.doi.org/10.17226/10322

Gaviria, J. L., Martínez-Arias, R., & Castro, M. (2004). Un estudio multinivel sobre los factores de eficacia escolar en países en desarrollo: El caso de los recursos en Brasil. Education Policy Analysis Archives, 12(20). https://goo.gl/BhZRZL

Gil Flores, J. (2014). Factores asociados a la brecha regional del rendimiento español en la evaluación PISA. Revista de Investigación Educativa, 32(2), 393-410. http://dx.doi.org/10.6018/rie.32.2.192441

Gobierno del Principado de Asturias (2011). Evaluación de Diagnóstico Asturias 2010. Oviedo: Consejería de Educación y Ciencia. https://goo.gl/KAv8hNHernández-

Castilla, R., Murillo, F. J., & Martínez-Garrido, C. (2014). Factores de inefi- cacia escolar. Revista Electrónica Iberoamericana sobre Calidad, Eficacia y Cambio en Educación, 12(1), 103-118. https://goo.gl/C4B8ri

Husen, T. (1967). International study of achievement in mathematics: a comparison of twelve countries. (Vol. III). Nueva York: Wiley & Sons.

Joncas, M., & Foy, P. (2012). Sample design in TIMSS and PIRLS. En M. O. Martin & I.V. S. Mullis (Eds.), Methods and Procedures in TIMSS and PIRLS 2011. Chestnut Hill, MA: TIMSS and PIRLS International Study Centre, Boston College.

Klieme, E. (2016). TIMSS 2015 and PISA 2015 How are they related on the country level? Deutsches Institut für Internationale Pädagogische Forschung. https://goo.gl/1cS1RS

Korpershoek, H., Harms, T., de Boer, H., van Kuijk, M., & Doolaard, S. (2016). A meta- analysis of the effects of classroom management strategies and classroom mana- gement programs on students’ academic, behavioral, emotional, and motivational outcomes. Review of Educational Research, 86, 643-680. http://dx.doi.org/10.3102/0034654315626799

Lamain, M., Scheerens, J., & Noort, P. (2017). Review and “vote count” analysis of OTL- effect studies. En J. Scheerens (Ed.), Opportunity to learn, curriculum alignment and test preparation a research review (pp. 55-101). Switzerland: Springer International Publishing.

Linacre, J. M. (2005). A User’s Guide to WINSTEPS/MINISTEP: Rasch-Model Computer Programs (Version 3.55). Chicago: MESA Press.

López, M. (2006). Todo el que llega aquí se contagia: el éxito escolar. En F. J. Murillo (Ed.), Estudios sobre eficacia escolar en Iberoamérica. 15 buenas investigaciones (pp. 261- 286). Bogotá: Convenio Andrés Bello. https://web.oas.org/childhood/ES/Lists/Recursos%20%20Estudios%20e%20Investigaciones/Attachments/21/14.%20Estudios%20sobre%20eficacia%20escolar%20en%20Iberoamérica.pdf

Liu, X., & Whitford, M. (2011). Opportunities-to-learn at home: Profiles of students with and without reaching science proficiency. Journal of Science Education and Technology, 20(4), 375-387. http://dx.doi.org/10.1007/s10956-010-9259-y

Luyten, H. (2017). Predictive power of OTL measures in TIMSS and PISA. In J. Scheerens (Ed.), Opportunity to learn, curriculum alignment and test preparation a research review (pp. 103-119). Switzerland: Springer. http://dx.doi.org/10.1007/978-3-319-43110-9_5

McDonnell, L. M. (1995). Opportunity to learn as a research concept and a policy instrument. Educational Evaluation and Policy Analysis, 17(3), 305-322. http://dx.doi.org/10.3102/01623737017003305

Martínez-Garrido, C. (2015). Investigación sobre enseñanza eficaz. Un estudio multinivel para Iberoamerica. (Tesis inédita de doctorado). Universidad Autónoma de Madrid, España.

Martínez-Garrido, C., & Murillo, F. J. (2016). Investigación Iberoamericana sobre ense- ñanza eficaz. Revista Mexicana de Investigación Educativa, 21(69), 471-499. http://www.scielo.org.mx/pdf/rmie/v21n69/1405-6666-rmie-21-69-00471.pdf

Marzano, R. J., Marzano, J. S., & Pickering, D. J. (2003). Classroom management that works.Research-based strategies for every teacher. Alexandria, VA: Association for Supervision and Curriculum Development (ASCD). https://goo.gl/ngMUYR

Mislevy, R. J., Beaton, A., Kaplan, B., & Sheehan, K. (1992). Estimating population characterstics from sparse matrix samples of item responses. Journal of Education Measurement, 29(2), 131-161. http://dx.doi.org/10.1111/j.1745-3984.1992.tb00371.x

Mo, Y., Singh, K. & Chang, M. (2013) Opportunity to learn and student engagement: a HLM study on eighth grade science achievement. Educational Research for Policy and Practice 12(1), 3-19. http://dx.doi.org/10.1007/s10671-011-9126-5

Murillo, F. J. (2007). School effectiveness research in Latin America, En T. Townsend (ed.), International handbook of school effectiveness and improvement, Nueva York: Springer, 75-92.

Murillo, F. J., & Hernández-Castilla, R. (2011). Factores escolares asociados al desa- rrollo socio-afectivo en Iberoamérica. Revista Electrónica de Investigación y Evaluación Educativa, 17(2), 1-23. http://www.uv.es/RELIEVE/v17n2/RELIE- VEv17n2_2.htm

Murillo, F. J., & Román, M. (2009). Mejorar el desempeño de los estudiantes de América Latina. Revista Mexicana de Investigación Educativa, 14(41), 451-484. http://www.comie.org.mx/documentos/rmie/v14/n041/pdf/41005.pdf

OECD. (2009). PISA data analysis manual SPSS® (2ª edition). París: OECD Publishing.

OECD (2013). PISA 2012 Assessment and Analytical Framework: Mathematics, Reading, Science,Problem Solving and Financial Literacy. París: OECD Publishing. http://dx.doi.org/10.1787/9789264190511-en

Prentice, D. A., & Miller, D. T. (1992). When small effects are impressive. Psychological Bulletin, 112(1), 160-164. http://dx.doi.org//10.1037/0033-2909.112.1.160

Ramos-Ramírez, G. (2013). La investigación sobre eficacia escolar en el Salvador. Estudio retrospectivo y prospectivo. (Tesis inédita de doctorado), Universidad Autónoma de Madrid, Madrid.

Raudenbush, S., Bryk, A., Cheong, Y. K., Congdon, R., & du Toit, M. (2011). HLM 7 hierarchical linear and nonlinear modeling. Chicago: SSI Scientific Software Interna- tional, Inc.

Román, M. (2010). Investigación latinoamericana sobre enseñanza eficaz. Revista Educación y Ciudad, 19, 81-96. https://dialnet.unirioja.es/servlet/articulo?codigo=5704988

Scheerens, J. (2016). Educational effectiveness and ineffectiveness a critical review of the knowledge base: Netherlands: Springer. http://dx.doi.org/10.1007/978-94-017-7459-8_1

Scheerens, J. (2017). Meta-analyses and descriptions of illustrative studies. En J. Schee- rens (Ed.), Opportunity to learn, curriculum alignment and test preparation. A Research Review (pp. 23-53). Switzerland: Springer International Publishing.

Schuh Moore, A., DeStefano, J., & Adelman, E. (2012). Opportunity to Learn as a measure of school effectiveness in Guatemala, Honduras, Ethiopia, and Nepal. USAID/ EQUIP2, Washington DC: FHI 360.

Servicio de Evaluación Educativa del Principado de Asturias (2017). ¿Cuánto importa el orden del aula en los resultados educativos? Informes de Evaluación, 7. http://dx.doi.org/10.13140/RG.2.2.21639.29608

Stallings, J., Knight, S. & Markham, D. (2014). Using the stallings observation system to investigate time on task in four countries. Washington, DC: World Bank.

Torres-Fernández, P. (2008). La investigación Iberoamericana de eficacia escolar ¿Qué nos dejó a los cubanos? Revista Electrónica Iberoamericana sobre Calidad, Eficacia y Cambio en Educación, 6(4), 81-97. https://revistas.uam.es/index.php/reice/article/view/5432

UNESCO-OREALC. (2016). Reporte técnico tercer estudio regional comparativo y explicativo. TERCE. Santiago de Chile:

UNESCO. http://unesdoc.unesco.org/images/0024/002471/247123s.pdf

UNESCO-OREALC, & LLECE. (2000). Primer estudio internacional comparativo sobre lenguaje, matemática y factores asociados, para alumnos del tercer y cuarto grado de la educación básica. Segundo Informe. Santiago de Chile: UNESCO. http://unesdoc.unesco.org/images/0014/001492/149268s.pdf

UNESCO-OREALC, & LLECE. (2010). SERCE. Factores asociados al logro cognitivo de los estudiantes de América Latina y el Caribe. Santiago de Chile: UNESCO. http://unesdoc.unesco.org/images/0018/001867/186769S.pdf

UNESCO-OREALC, & LLECE. (2016a). Informe de resultados del tercer estudio regional comparativo y explicativo. Factores asociados. Santiago de Chile: UNESCO. http://unesdoc.unesco.org/images/0024/002435/243533s.pdf

UNESCO-OREALC, & LLECE. (2016b). Informe de resultados del tercer estudio regional comparativo y explicativo. Logros de aprendizaje. Santiago de Chile: UNESCO. http://unesdoc.unesco.org/images/0024/002435/243532S.pdf

Velez, E., Schiefelbein, E., & Valenzuela, J. (1994). Factores que afectan al rendimiento académico en la Educación Primaria. Revisión de la Literatura en América Latina y el Caribe. Revista Latinoamericana de Innovaciones Educativas, 17, 29-53. http://repositorio.minedu.gob.pe/handle/123456789/4317

von Davier, M., Gonzalez, E., & Mislevy, R. J. (2009). What are plausible values and why are they useful? En M. von Davier & D. Hastedt (Eds.), IERI monograph series: Issues and methodologies in large-scale assesments 2, 9-36. Princeton, NJ: Educational Testing Service.

Wolff, L., Schiefelbein, E., & Valenzuela, J. (1994). Mejoramiento de la calidad de la educación primaria en América Latina y el Caribe. Washington, D.C: Banco Mundial. http://www.opech.cl/inv/documentos_trabajo/calidad.pdf

Woitschach, P., Fernández-Alonso, R., Martínez-Arias, R. y Muñiz, J. (2017). Influencia de los centros escolares sobre el rendimiento académico en Latinoamérica. Revista de Psicología y Educación, 12(2), 138-154. http://dx.doi.org/10.23923/rpye2017.12.152

Published
25-06-2018
How to Cite
Fernández Fernández, S., Woitschach, P. R., Alvarez-Díaz, M., & Fernández Alonso, R. (2018). Analysis of the opportunity to learn in the TERCE study of UNESCO. Journal of Educational Research, 36(2), 509–528. https://doi.org/10.6018/rie.36.2.307831
Issue
Section
Articles