Del ensayo controlado aleatorizado a los métodos mixtos: un marco práctico para la evaluación de programas basado en la calidad metodológica
Resumen
La evidencia utilizada al tomar decisiones sobre el diseño, implementación y evaluación en los programas de intervención debe ser metodológicamente sólida. Dependiendo del contexto de la intervención, se pueden aplicar diferentes metodologías. Sin embargo, el contexto de la intervención es a menudo inestable y, para adaptarse a las circunstancias cambiantes, se hace necesario modificar el plan original. El marco propuesto en este documento se basa en enfoques que pueden considerarse dos extremos de un continuo (diseños experimentales / cuasiexperimentales y estudios basados en metodología observacional). En condiciones de contexto de intervención inestable, esto permite tomar decisiones desde un enfoque de calidad metodológica en cuanto a diseño, medición y análisis. Las dimensiones estructurales, i.e., las unidades (participantes, usuarios), el tratamiento (actividades del programa), los resultados (incluidas las decisiones sobre los instrumentos a utilizar y la recopilación de datos), el entorno (contexto de implementación) y el tiempo se detallarán como parte del marco práctico. El presente estudio tiene como objetivo especificar el grado de correspondencia / complementariedad entre componentes en estas dimensiones estructurales de la evaluación de un programa desde una perspectiva de complementariedad práctica basada en la calidad metodológica.
Descargas
Citas
Anguera, M. T. (1995). Diseños [Designs]. In R. Fernández-Ballesteros (Ed.), Evaluación de programas. Una guía práctica en ámbitos sociales, educativos y de salud (pp.149-172). Síntesis.
Anguera, M. T. (2001). Hacia una evaluación de la actividad cotidiana y su contexto: ¿Presente o futuro para la metodología? Discurso de ingreso como académica numeraria electa [Towards an evaluation of the daily activity and its context: Is it present or future for methodology? Talk to join as long-standing elected academician]. Reial Acadèmia de Doctors, Barcelona (1999). In A. Bazán & A. Arce (Eds.), Estrategias de evaluación y medición del comportamiento en psicología (pp. 11-86). Instituto Tecnológico de Sonora y Universidad Autónoma de Yucatán.
Anguera, M. T., Blanco-Villaseñor, A., Losada J. L., Sánchez-Algarra, P. (2020). Integración de elementos cualitativos y cuantitativos en metodología observacional. Ámbitos. Revista Internacional de Comunicación, 49, 49-70. https://institucional.us.es/revistas/Ambitos/49/Integración_de_elementos_cualitativos_y_cuantitativos_en_metodología_observacional.pdf
Anguera, M. T., & Chacón-Moscoso, S. (1999). Dimensiones estructurales de diseño para la evaluación de programas [Structural dimensions of design for program evaluation]. Apuntes de Psicología, 17(3), 175-192.
Anguera, M. T., Chacón-Moscoso, S., Holgado, F. P., & Pérez, J. A. (2008). Instrumentos en evaluación de programas [Instruments in program evaluation]. In M. T. Anguera, S. Chacón-Moscoso, & A. Blanco (Eds.), Evaluación de programas sociales y sanitarios: un abordaje metodológico (pp. 127-152). Síntesis.
Anguera, M. T., Portell, M., Chacón-Moscoso-Moscoso, S., & Sanduvete-Chaves, S. (2018). Indirect observation in everyday contexts: Concepts and methodological guidelines within a mixed methods framework. Frontiers in Psychology, 9:13. https://doi.org/10.3389/fpsyg.2018.00013
Anguera, M. T., Portell, P., Hernández-Mendo, A., Sánchez-Algarra, P., & Jonsson, G. K. (in press). Diachronic analysis of qualitative data. In A. J. Onwuegbuzie, & B. Johnson (Eds.), Reviewer’s Guide for Mixed Methods Research Analysis. Routledge.
Bakeman, R. (1978). Untangling streams of behavior: Sequential analysis of observation data. In G. P. Sackett (Ed.), Observing Behavior, Vol. 2: Data collection and analysis methods (pp. 63-78). University of Park Press.
Blanco-Villaseñor, A. (1997). Metodologies qualitatives en la investigació psicológica [Qualitative methodologies in psychological research]. Edicions de la Universitat Oberta de Catalunya.
Cano-García, F. J., González-Ortega, M. C., Sanduvete-Chaves, S., Chacón-Moscoso, S., & Moreno-Borrego, R. (2017). Evaluation of a psychological intervention for patients with chronic pain in primary care. Frontiers in Psychology, 8:435. https://doi.org/10.3389/fpsyg.2017.00435
Castañer, M., Puigarnau, S., Benítez, R., Zurloni, V., & Camerino, O. (2017). How to merge observational and physiological data? A case study of motor skills patterns and heart rate in exercise programs for adult women. Anales de Psicología, 33(3), 442-449. https://doi.org/10.6018/analesps.33.3.271011
Chacón-Moscoso, S., Anguera, M. T., Sanduvete-Chaves, S., Losada, J. L., Lozano-Lozano, J. A., & Portell, M. (2019). Methodological quality checklist for studies based on observational methodology (MQCOM). Psicothema, 31(4), 458-464. https://doi.org/10.7334/psicothema2019.116
Chacón-Moscoso, S., Anguera, M. T., Sanduvete-Chaves, S., & Sánchez-Martín, M. (2014). Methodological convergence of program evaluation designs. Psicothema, 26(1), 91-96. https://doi.org/10.7334/psicothema2013.144
Chacón-Moscoso, S., Sanduvete-Chaves, S., Portell, M., & Anguera, M. T. (2013). Reporting a program evaluation: Needs, program plan, intervention, and decisions. International Journal of Clinical and Health Psychology, 13(1), 58-66. https://doi.org/10.1016/S1697-2600(13)70008-5
Chacón-Moscoso, S., Sanduvete-Chaves, S., & Sánchez-Martín, M. (2016). The development of a checklist to enhance methodological quality in intervention programs. Frontiers in Psychology, 7:1811. https://doi.org/10.3389/fpsyg.2016.01811
Chacón-Moscoso, S., & Shadish, W. R. (2001). Observational studies and quasi-experimental designs: similarities, differences, and generalizations. Metodología de las Ciencias del Comportamiento, 3, 283-290. https://idus.us.es/handle/11441/43140
Chacón-Moscoso, S., Shadish, W. R., & Cook, T. D. (2008). Diseños evaluativos de intervención media [Evaluative designs of medium intervention]. In M. T. Anguera, S. Chacón-Moscoso, & A. Blanco (Coords.), Evaluación de programas sociales y sanitarios. Un abordaje metodológico (pp. 185-218). Síntesis.
Cook, T. D. (1991). Clarifying the warrant for generalized causal inferences in quasi-experimentation. In M. W. McLaughlin, & D. Phillips (Eds.), Evaluation and education at quarter century (pp. 115-144). National Society for the Study of Education.
Cook, T. D., & Campbell, D. T. (1979). Quasi-experimentation: Design and analysis issues for field settings. Houghton Mifflin.
Cook, T. D., & Campbell, D. T. (1986). The causal assumptions of quasi-experimental practice. Synthese, 28, 141-180. https://www.jstor.org/stable/20116298
Cook, T. D., Campbell, D. T., & Peracchio, L. (1990). Quasi experimentation. In M. D. Dunnette, & L. M. Hough (Eds.), Handbook of industrial and organizational psychology (pp. 491-576). Consulting Psychologist Press.
Crocker, L., & Algina, J. (1986). Introduction to classical and modern test theory. Holt, Rinehart and Winston.
Cronbach, L. (1982). Designing evaluations of educational and social programs. Jossey-Bass.
Eisner, E. W. (1991). The enlightened eye: Qualitative inquiry and the enhancement of educational practice. Macmillan.
Gabin, B., Camerino, O., Anguera, M. T., & Castañer, M. (2012). Procedia - Social and Behavioral Sciences, 46, 4692-4694. https://doi.org/10.1016/j.sbspro.2012.06.320
Glesne, C., & Peshkin, A. (1992). Becoming qualitative researchers: An introduction. Longman.
Gorard, S., & Cook, T. D. (2007). Where does good evidence come from? International Journal of Research & Methods in Education, 30, 307-323. https://doi.org/10.1080/17437270701614790
Halpern, E. S. (1983). Auditing naturalistic inquiries: The development and application of a model. Indiana University.
Hernández-Mendo, A., López-López, J. A., Castellano, J., Morales-Sánchez, V., & Pastrana, J. L. (2012). Hoisan 1.2: programa informático para uso en metodología observacional [Hoisan 1.2: software for observational methodology]. Cuadernos de Psicología del Deporte 12, 55–78. https://doi.org/10.4321/S1578-84232012000100006
Holgado, F. P., Carrasco, M. A., del Barrio-Gándara, M. V., & Chacón-Moscoso, S. (2009). Factor analysis of the Big Five Questionnaire using polychoric correlations in children. Quality & Quantity, 43(1), 75-85. https://doi.org/10.1007/s11135-007-9085-3
Holgado, F. P., Chacón-Moscoso, S., Barbero, M. I., & Sanduvete-Chaves, S. (2006). Training satisfaction rating scale: Development of a measurement model using polychoric correlations. European Journal of Psychological Assessment, 22, 268-279. https://doi.org/10.1027/1015-5759.22.4.268
Holgado, F. P., Chacón-Moscoso, S., Barbero, M. I., & Vila, E. (2010). Polychoric versus Pearson correlations in Exploratory and Confirmatory Factor Analysis with ordinal variables. Quality & Quantity, 44, 153-166. https://doi.org/10.1007/s11135-008-9190-y
Kvale, S. (1995). The social construction of validity. Qualitative Inquiry, 1, 19–40. https://doi.org/10.1177/107780049500100103
Maxwell, J. A. (1992). Understanding and validity in qualitative research. Harvard Educational Review, 62, 279-299. http://www.msuedtechsandbox.com/hybridphd/wp-content/uploads/2010/06/maxwell92.pdf
Onwuegbuzie, A. J. (2003). Expanding the framework of internal and external validity in quantitative research. Research in the Schools, 10, 71-90. https://files.eric.ed.gov/fulltext/ED448205.pdf
Onwuegbuzie, A. J., & Daniel, L. G. (2003). Typology of analytical and interpretational errors in quantitative and qualitative educational research. Current Issues in Education, 6(2), 1-34. http://cie.asu.edu/ojs/index.php/cieatasu/article/download/1609/651
Onwuegbuzie, A. J., & Leech, N. I. (2007a). A call for qualitative power analyses. Quality & Quantity, 41, 105-121.
Onwuegbuzie, A. J., & Leech, N. I. (2007b). Validity and qualitative research: An oxymoron? Quality & Quantity, 41, 233-249. https://doi.org/10.1007/s11135-006-9000-3
Portell, M., Anguera, M. T., Chacón-Moscoso, S., & Sanduvete-Chaves, S. (2015). Guidelines for Reporting Evaluations based on Observational Methodology. Psicothema, 27(3), 283-289. https://doi.org/10.7334/psicothema2014.276
Rubio-Aparicio, M., Marín-Martínez, F., Sánchez-Meca, J., & López-López, J. A. (2018). A methodological review of meta-analyses about the effectiveness of clinical psychology treatments. Behavior Research Methods, 50, 2057-2073. https://doi.org/10.3758/s13428-017-0973-8
Rubio-Aparicio, M., Sánchez-Meca, J., Marín-Martínez, F., & López-López, J. A. (2018). Guidelines for reporting systematic reviews and meta-analyses. Anales de Psicología, 34, 412-420. https://doi.org/10.6018/analesps.34.2.320131
Sánchez-Algarra, P., & Anguera, M. T. (1993). Aproximación al PERT en evaluación de programas desde las técnicas matemáticas de análisis de grafos [PERT proposal in program evaluation through graph mathematic technique]. Anales de Psicología, 9, 213-226. https://www.um.es/analesps/v09/v09_2/08-09_2.pdf
Sánchez-Algarra, P., & Anguera, M. T. (2013). Qualitative/quantitative integration in the inductive observational study of interactive behaviour: Impact of recording and coding among predominating perspectives. Quality & Quantity, 47, 1237-1257. https://doi.org/10.1007/s11135-012-9764-6
Sanduvete-Chaves, S., Barbero, M. I., Chacón-Moscoso, S., Pérez, J. A., Holgado, F. P., Sánchez-Marín, M., & Lozano-Lozano, J. A. (2009). Métodos de escalamiento aplicados a la priorización de necesidades de formación en organizaciones [Scaling methods applied to set priorities in training programs in organizations]. Psicothema, 21, 509-514. http://www.psicothema.com/pdf/3662.pdf
Santoyo, C., Jonsson, G. K., Anguera, M. T., & López-López, J. A. (2017). Observational analysis of the organization of on-task behavior in the classroom using complementary data analyses. Anales de Psicología, 33(3), 497-514. http://dx.doi.org/10.6018/analesps.33.3.271061
Sene-Mir, A. M., Portell, M., Anguera, M. T., & Chacón-Moscoso, S. (2020). Manual material handling training: The effect of self-observation, hetero-observational and intrinsic feedback on workers’ knowledge and behaviour. International Journal of Environmental Research and Public Health, 17, 8095. https://doi.org/10.3390/ijerph17218095
Shadish, W. R. (2002). Revisiting field experimentation: field notes for the future. Psychological Methods, 7, 3-18. https://doi.org/10.1037/1082-989x.7.1.3
Shadish, W. R., Chacón-Moscoso, S., & Sánchez-Meca, J. (2005). Evidence-based decision making: enhancing systematic reviews of program evaluation results in Europe. Evaluation, 11, 95-110. https://doi.org/10.1177/1356389005053196
Shadish, W. R., Cook, T. D., & Campbell, D. T. (2002). Experimental and quasi-experimental designs for generalized causal inference. Houghton-Mifflin.
Soto, A., Camerino, O., Iglesias, X., Anguera, M. T., & Castañer, M. (2019). LINCE PLUS: Research software for behavior video analysis. Apunts. Educación Física y Deportes, 137(3), 149-153. https://dx.doi.org/10.5672/apunts.2014-0983.es.(2019/3).137.11
Stake, R. E. (2006). Multiple case study analysis. Guilford Press.
Derechos de autor 2021 Servicio de Publicaciones, Universidad de Murcia (España)
Esta obra está bajo una licencia internacional Creative Commons Atribución-CompartirIgual 4.0.
Las obras que se publican en esta revista están sujetas a los siguientes términos:
1. El Servicio de Publicaciones de la Universidad de Murcia (la editorial) conserva los derechos patrimoniales (copyright) de las obras publicadas, y favorece y permite la reutilización de las mismas bajo la licencia de uso indicada en el punto 2.
© Servicio de Publicaciones, Universidad de Murcia, 2022
2. Las obras se publican en la edición electrónica de la revista bajo una licencia Creative Commons Reconocimiento-CompartirIgual 4.0 Internacional (texto legal). Se pueden copiar, usar, difundir, transmitir y exponer públicamente, siempre que: i) se cite la autoría y la fuente original de su publicación (revista, editorial y URL de la obra); ii) no se usen para fines comerciales; iii) se mencione la existencia y especificaciones de esta licencia de uso.
3. Condiciones de auto-archivo. Se permite y se anima a los autores a difundir electrónicamente las versiones pre-print (versión antes de ser evaluada y enviada a la revista) y/o post-print (versión evaluada y aceptada para su publicación) de sus obras antes de su publicación, ya que favorece su circulación y difusión más temprana y con ello un posible aumento en su citación y alcance entre la comunidad académica. Color RoMEO: verde.
