Del ensayo controlado aleatorizado a los métodos mixtos: un marco práctico para la evaluación de programas basado en la calidad metodológica
Resumen
La evidencia utilizada al tomar decisiones sobre el diseño, implementación y evaluación en los programas de intervención debe ser metodológicamente sólida. Dependiendo del contexto de la intervención, se pueden aplicar diferentes metodologías. Sin embargo, el contexto de la intervención es a menudo inestable y, para adaptarse a las circunstancias cambiantes, se hace necesario modificar el plan original. El marco propuesto en este documento se basa en enfoques que pueden considerarse dos extremos de un continuo (diseños experimentales / cuasiexperimentales y estudios basados en metodología observacional). En condiciones de contexto de intervención inestable, esto permite tomar decisiones desde un enfoque de calidad metodológica en cuanto a diseño, medición y análisis. Las dimensiones estructurales, i.e., las unidades (participantes, usuarios), el tratamiento (actividades del programa), los resultados (incluidas las decisiones sobre los instrumentos a utilizar y la recopilación de datos), el entorno (contexto de implementación) y el tiempo se detallarán como parte del marco práctico. El presente estudio tiene como objetivo especificar el grado de correspondencia / complementariedad entre componentes en estas dimensiones estructurales de la evaluación de un programa desde una perspectiva de complementariedad práctica basada en la calidad metodológica.
Descargas
-
Resumen1767
-
pdf 972
Citas
Anguera, M. T. (1995). Diseños [Designs]. In R. Fernández-Ballesteros (Ed.), Evaluación de programas. Una guía práctica en ámbitos sociales, educativos y de salud (pp.149-172). Síntesis.
Anguera, M. T. (2001). Hacia una evaluación de la actividad cotidiana y su contexto: ¿Presente o futuro para la metodología? Discurso de ingreso como académica numeraria electa [Towards an evaluation of the daily activity and its context: Is it present or future for methodology? Talk to join as long-standing elected academician]. Reial Acadèmia de Doctors, Barcelona (1999). In A. Bazán & A. Arce (Eds.), Estrategias de evaluación y medición del comportamiento en psicología (pp. 11-86). Instituto Tecnológico de Sonora y Universidad Autónoma de Yucatán.
Anguera, M. T., Blanco-Villaseñor, A., Losada J. L., Sánchez-Algarra, P. (2020). Integración de elementos cualitativos y cuantitativos en metodología observacional. Ámbitos. Revista Internacional de Comunicación, 49, 49-70. https://institucional.us.es/revistas/Ambitos/49/Integración_de_elementos_cualitativos_y_cuantitativos_en_metodología_observacional.pdf
Anguera, M. T., & Chacón-Moscoso, S. (1999). Dimensiones estructurales de diseño para la evaluación de programas [Structural dimensions of design for program evaluation]. Apuntes de Psicología, 17(3), 175-192.
Anguera, M. T., Chacón-Moscoso, S., Holgado, F. P., & Pérez, J. A. (2008). Instrumentos en evaluación de programas [Instruments in program evaluation]. In M. T. Anguera, S. Chacón-Moscoso, & A. Blanco (Eds.), Evaluación de programas sociales y sanitarios: un abordaje metodológico (pp. 127-152). Síntesis.
Anguera, M. T., Portell, M., Chacón-Moscoso-Moscoso, S., & Sanduvete-Chaves, S. (2018). Indirect observation in everyday contexts: Concepts and methodological guidelines within a mixed methods framework. Frontiers in Psychology, 9:13. https://doi.org/10.3389/fpsyg.2018.00013
Anguera, M. T., Portell, P., Hernández-Mendo, A., Sánchez-Algarra, P., & Jonsson, G. K. (in press). Diachronic analysis of qualitative data. In A. J. Onwuegbuzie, & B. Johnson (Eds.), Reviewer’s Guide for Mixed Methods Research Analysis. Routledge.
Bakeman, R. (1978). Untangling streams of behavior: Sequential analysis of observation data. In G. P. Sackett (Ed.), Observing Behavior, Vol. 2: Data collection and analysis methods (pp. 63-78). University of Park Press.
Blanco-Villaseñor, A. (1997). Metodologies qualitatives en la investigació psicológica [Qualitative methodologies in psychological research]. Edicions de la Universitat Oberta de Catalunya.
Cano-García, F. J., González-Ortega, M. C., Sanduvete-Chaves, S., Chacón-Moscoso, S., & Moreno-Borrego, R. (2017). Evaluation of a psychological intervention for patients with chronic pain in primary care. Frontiers in Psychology, 8:435. https://doi.org/10.3389/fpsyg.2017.00435
Castañer, M., Puigarnau, S., Benítez, R., Zurloni, V., & Camerino, O. (2017). How to merge observational and physiological data? A case study of motor skills patterns and heart rate in exercise programs for adult women. Anales de Psicología, 33(3), 442-449. https://doi.org/10.6018/analesps.33.3.271011
Chacón-Moscoso, S., Anguera, M. T., Sanduvete-Chaves, S., Losada, J. L., Lozano-Lozano, J. A., & Portell, M. (2019). Methodological quality checklist for studies based on observational methodology (MQCOM). Psicothema, 31(4), 458-464. https://doi.org/10.7334/psicothema2019.116
Chacón-Moscoso, S., Anguera, M. T., Sanduvete-Chaves, S., & Sánchez-Martín, M. (2014). Methodological convergence of program evaluation designs. Psicothema, 26(1), 91-96. https://doi.org/10.7334/psicothema2013.144
Chacón-Moscoso, S., Sanduvete-Chaves, S., Portell, M., & Anguera, M. T. (2013). Reporting a program evaluation: Needs, program plan, intervention, and decisions. International Journal of Clinical and Health Psychology, 13(1), 58-66. https://doi.org/10.1016/S1697-2600(13)70008-5
Chacón-Moscoso, S., Sanduvete-Chaves, S., & Sánchez-Martín, M. (2016). The development of a checklist to enhance methodological quality in intervention programs. Frontiers in Psychology, 7:1811. https://doi.org/10.3389/fpsyg.2016.01811
Chacón-Moscoso, S., & Shadish, W. R. (2001). Observational studies and quasi-experimental designs: similarities, differences, and generalizations. Metodología de las Ciencias del Comportamiento, 3, 283-290. https://idus.us.es/handle/11441/43140
Chacón-Moscoso, S., Shadish, W. R., & Cook, T. D. (2008). Diseños evaluativos de intervención media [Evaluative designs of medium intervention]. In M. T. Anguera, S. Chacón-Moscoso, & A. Blanco (Coords.), Evaluación de programas sociales y sanitarios. Un abordaje metodológico (pp. 185-218). Síntesis.
Cook, T. D. (1991). Clarifying the warrant for generalized causal inferences in quasi-experimentation. In M. W. McLaughlin, & D. Phillips (Eds.), Evaluation and education at quarter century (pp. 115-144). National Society for the Study of Education.
Cook, T. D., & Campbell, D. T. (1979). Quasi-experimentation: Design and analysis issues for field settings. Houghton Mifflin.
Cook, T. D., & Campbell, D. T. (1986). The causal assumptions of quasi-experimental practice. Synthese, 28, 141-180. https://www.jstor.org/stable/20116298
Cook, T. D., Campbell, D. T., & Peracchio, L. (1990). Quasi experimentation. In M. D. Dunnette, & L. M. Hough (Eds.), Handbook of industrial and organizational psychology (pp. 491-576). Consulting Psychologist Press.
Crocker, L., & Algina, J. (1986). Introduction to classical and modern test theory. Holt, Rinehart and Winston.
Cronbach, L. (1982). Designing evaluations of educational and social programs. Jossey-Bass.
Eisner, E. W. (1991). The enlightened eye: Qualitative inquiry and the enhancement of educational practice. Macmillan.
Gabin, B., Camerino, O., Anguera, M. T., & Castañer, M. (2012). Procedia - Social and Behavioral Sciences, 46, 4692-4694. https://doi.org/10.1016/j.sbspro.2012.06.320
Glesne, C., & Peshkin, A. (1992). Becoming qualitative researchers: An introduction. Longman.
Gorard, S., & Cook, T. D. (2007). Where does good evidence come from? International Journal of Research & Methods in Education, 30, 307-323. https://doi.org/10.1080/17437270701614790
Halpern, E. S. (1983). Auditing naturalistic inquiries: The development and application of a model. Indiana University.
Hernández-Mendo, A., López-López, J. A., Castellano, J., Morales-Sánchez, V., & Pastrana, J. L. (2012). Hoisan 1.2: programa informático para uso en metodología observacional [Hoisan 1.2: software for observational methodology]. Cuadernos de Psicología del Deporte 12, 55–78. https://doi.org/10.4321/S1578-84232012000100006
Holgado, F. P., Carrasco, M. A., del Barrio-Gándara, M. V., & Chacón-Moscoso, S. (2009). Factor analysis of the Big Five Questionnaire using polychoric correlations in children. Quality & Quantity, 43(1), 75-85. https://doi.org/10.1007/s11135-007-9085-3
Holgado, F. P., Chacón-Moscoso, S., Barbero, M. I., & Sanduvete-Chaves, S. (2006). Training satisfaction rating scale: Development of a measurement model using polychoric correlations. European Journal of Psychological Assessment, 22, 268-279. https://doi.org/10.1027/1015-5759.22.4.268
Holgado, F. P., Chacón-Moscoso, S., Barbero, M. I., & Vila, E. (2010). Polychoric versus Pearson correlations in Exploratory and Confirmatory Factor Analysis with ordinal variables. Quality & Quantity, 44, 153-166. https://doi.org/10.1007/s11135-008-9190-y
Kvale, S. (1995). The social construction of validity. Qualitative Inquiry, 1, 19–40. https://doi.org/10.1177/107780049500100103
Maxwell, J. A. (1992). Understanding and validity in qualitative research. Harvard Educational Review, 62, 279-299. http://www.msuedtechsandbox.com/hybridphd/wp-content/uploads/2010/06/maxwell92.pdf
Onwuegbuzie, A. J. (2003). Expanding the framework of internal and external validity in quantitative research. Research in the Schools, 10, 71-90. https://files.eric.ed.gov/fulltext/ED448205.pdf
Onwuegbuzie, A. J., & Daniel, L. G. (2003). Typology of analytical and interpretational errors in quantitative and qualitative educational research. Current Issues in Education, 6(2), 1-34. http://cie.asu.edu/ojs/index.php/cieatasu/article/download/1609/651
Onwuegbuzie, A. J., & Leech, N. I. (2007a). A call for qualitative power analyses. Quality & Quantity, 41, 105-121.
Onwuegbuzie, A. J., & Leech, N. I. (2007b). Validity and qualitative research: An oxymoron? Quality & Quantity, 41, 233-249. https://doi.org/10.1007/s11135-006-9000-3
Portell, M., Anguera, M. T., Chacón-Moscoso, S., & Sanduvete-Chaves, S. (2015). Guidelines for Reporting Evaluations based on Observational Methodology. Psicothema, 27(3), 283-289. https://doi.org/10.7334/psicothema2014.276
Rubio-Aparicio, M., Marín-Martínez, F., Sánchez-Meca, J., & López-López, J. A. (2018). A methodological review of meta-analyses about the effectiveness of clinical psychology treatments. Behavior Research Methods, 50, 2057-2073. https://doi.org/10.3758/s13428-017-0973-8
Rubio-Aparicio, M., Sánchez-Meca, J., Marín-Martínez, F., & López-López, J. A. (2018). Guidelines for reporting systematic reviews and meta-analyses. Anales de Psicología, 34, 412-420. https://doi.org/10.6018/analesps.34.2.320131
Sánchez-Algarra, P., & Anguera, M. T. (1993). Aproximación al PERT en evaluación de programas desde las técnicas matemáticas de análisis de grafos [PERT proposal in program evaluation through graph mathematic technique]. Anales de Psicología, 9, 213-226. https://www.um.es/analesps/v09/v09_2/08-09_2.pdf
Sánchez-Algarra, P., & Anguera, M. T. (2013). Qualitative/quantitative integration in the inductive observational study of interactive behaviour: Impact of recording and coding among predominating perspectives. Quality & Quantity, 47, 1237-1257. https://doi.org/10.1007/s11135-012-9764-6
Sanduvete-Chaves, S., Barbero, M. I., Chacón-Moscoso, S., Pérez, J. A., Holgado, F. P., Sánchez-Marín, M., & Lozano-Lozano, J. A. (2009). Métodos de escalamiento aplicados a la priorización de necesidades de formación en organizaciones [Scaling methods applied to set priorities in training programs in organizations]. Psicothema, 21, 509-514. http://www.psicothema.com/pdf/3662.pdf
Santoyo, C., Jonsson, G. K., Anguera, M. T., & López-López, J. A. (2017). Observational analysis of the organization of on-task behavior in the classroom using complementary data analyses. Anales de Psicología, 33(3), 497-514. http://dx.doi.org/10.6018/analesps.33.3.271061
Sene-Mir, A. M., Portell, M., Anguera, M. T., & Chacón-Moscoso, S. (2020). Manual material handling training: The effect of self-observation, hetero-observational and intrinsic feedback on workers’ knowledge and behaviour. International Journal of Environmental Research and Public Health, 17, 8095. https://doi.org/10.3390/ijerph17218095
Shadish, W. R. (2002). Revisiting field experimentation: field notes for the future. Psychological Methods, 7, 3-18. https://doi.org/10.1037/1082-989x.7.1.3
Shadish, W. R., Chacón-Moscoso, S., & Sánchez-Meca, J. (2005). Evidence-based decision making: enhancing systematic reviews of program evaluation results in Europe. Evaluation, 11, 95-110. https://doi.org/10.1177/1356389005053196
Shadish, W. R., Cook, T. D., & Campbell, D. T. (2002). Experimental and quasi-experimental designs for generalized causal inference. Houghton-Mifflin.
Soto, A., Camerino, O., Iglesias, X., Anguera, M. T., & Castañer, M. (2019). LINCE PLUS: Research software for behavior video analysis. Apunts. Educación Física y Deportes, 137(3), 149-153. https://dx.doi.org/10.5672/apunts.2014-0983.es.(2019/3).137.11
Stake, R. E. (2006). Multiple case study analysis. Guilford Press.
Derechos de autor 2021 Servicio de Publicaciones, Universidad de Murcia (España)

Esta obra está bajo una licencia internacional Creative Commons Atribución-CompartirIgual 4.0.
Sobre Derechos de autor y Licencias, más detalles aquí.


