Del ensayo controlado aleatorizado a los métodos mixtos: un marco práctico para la evaluación de programas basado en la calidad metodológica

Autores/as

DOI: https://doi.org/10.6018/analesps.470021
Palabras clave: Métodos mixtos, Calidad metodológica, Complementariedad, Evaluación

Resumen

La evidencia utilizada al tomar decisiones sobre el diseño, implementación y evaluación en los programas de intervención debe ser metodológicamente sólida. Dependiendo del contexto de la intervención, se pueden aplicar diferentes metodologías. Sin embargo, el contexto de la intervención es a menudo inestable y, para adaptarse a las circunstancias cambiantes, se hace necesario modificar el plan original. El marco propuesto en este documento se basa en enfoques que pueden considerarse dos extremos de un continuo (diseños experimentales / cuasiexperimentales y estudios basados ​​en metodología observacional). En condiciones de contexto de intervención inestable, esto permite tomar decisiones desde un enfoque de calidad metodológica en cuanto a diseño, medición y análisis. Las dimensiones estructurales, i.e., las unidades (participantes, usuarios), el tratamiento (actividades del programa), los resultados (incluidas las decisiones sobre los instrumentos a utilizar y la recopilación de datos), el entorno (contexto de implementación) y el tiempo se detallarán como parte del marco práctico. El presente estudio tiene como objetivo especificar el grado de correspondencia / complementariedad entre componentes en estas dimensiones estructurales de la evaluación de un programa desde una perspectiva de complementariedad práctica basada en la calidad metodológica.

Descargas

Los datos de descargas todavía no están disponibles.

Citas

Anguera, M. T. (1995). Diseños [Designs]. In R. Fernández-Ballesteros (Ed.), Evaluación de programas. Una guía práctica en ámbitos sociales, educativos y de salud (pp.149-172). Síntesis.

Anguera, M. T. (2001). Hacia una evaluación de la actividad cotidiana y su contexto: ¿Presente o futuro para la metodología? Discurso de ingreso como académica numeraria electa [Towards an evaluation of the daily activity and its context: Is it present or future for methodology? Talk to join as long-standing elected academician]. Reial Acadèmia de Doctors, Barcelona (1999). In A. Bazán & A. Arce (Eds.), Estrategias de evaluación y medición del comportamiento en psicología (pp. 11-86). Instituto Tecnológico de Sonora y Universidad Autónoma de Yucatán.

Anguera, M. T., Blanco-Villaseñor, A., Losada J. L., Sánchez-Algarra, P. (2020). Integración de elementos cualitativos y cuantitativos en metodología observacional. Ámbitos. Revista Internacional de Comunicación, 49, 49-70. https://institucional.us.es/revistas/Ambitos/49/Integración_de_elementos_cualitativos_y_cuantitativos_en_metodología_observacional.pdf

Anguera, M. T., & Chacón-Moscoso, S. (1999). Dimensiones estructurales de diseño para la evaluación de programas [Structural dimensions of design for program evaluation]. Apuntes de Psicología, 17(3), 175-192.

Anguera, M. T., Chacón-Moscoso, S., Holgado, F. P., & Pérez, J. A. (2008). Instrumentos en evaluación de programas [Instruments in program evaluation]. In M. T. Anguera, S. Chacón-Moscoso, & A. Blanco (Eds.), Evaluación de programas sociales y sanitarios: un abordaje metodológico (pp. 127-152). Síntesis.

Anguera, M. T., Portell, M., Chacón-Moscoso-Moscoso, S., & Sanduvete-Chaves, S. (2018). Indirect observation in everyday contexts: Concepts and methodological guidelines within a mixed methods framework. Frontiers in Psychology, 9:13. https://doi.org/10.3389/fpsyg.2018.00013

Anguera, M. T., Portell, P., Hernández-Mendo, A., Sánchez-Algarra, P., & Jonsson, G. K. (in press). Diachronic analysis of qualitative data. In A. J. Onwuegbuzie, & B. Johnson (Eds.), Reviewer’s Guide for Mixed Methods Research Analysis. Routledge.

Bakeman, R. (1978). Untangling streams of behavior: Sequential analysis of observation data. In G. P. Sackett (Ed.), Observing Behavior, Vol. 2: Data collection and analysis methods (pp. 63-78). University of Park Press.

Blanco-Villaseñor, A. (1997). Metodologies qualitatives en la investigació psicológica [Qualitative methodologies in psychological research]. Edicions de la Universitat Oberta de Catalunya.

Cano-García, F. J., González-Ortega, M. C., Sanduvete-Chaves, S., Chacón-Moscoso, S., & Moreno-Borrego, R. (2017). Evaluation of a psychological intervention for patients with chronic pain in primary care‎. Frontiers in Psychology, 8:435. https://doi.org/10.3389/fpsyg.2017.00435

Castañer, M., Puigarnau, S., Benítez, R., Zurloni, V., & Camerino, O. (2017). How to merge observational and physiological data? A case study of motor skills patterns and heart rate in exercise programs for adult women. Anales de Psicología, 33(3), 442-449. https://doi.org/10.6018/analesps.33.3.271011

Chacón-Moscoso, S., Anguera, M. T., Sanduvete-Chaves, S., Losada, J. L., Lozano-Lozano, J. A., & Portell, M. (2019). Methodological quality checklist for studies based on observational methodology (MQCOM). Psicothema, 31(4), 458-464. https://doi.org/10.7334/psicothema2019.116

Chacón-Moscoso, S., Anguera, M. T., Sanduvete-Chaves, S., & Sánchez-Martín, M. (2014). Methodological convergence of program evaluation designs. Psicothema, 26(1), 91-96. https://doi.org/10.7334/psicothema2013.144

Chacón-Moscoso, S., Sanduvete-Chaves, S., Portell, M., & Anguera, M. T. (2013). Reporting a program evaluation: Needs, program plan, intervention, and decisions. International Journal of Clinical and Health Psychology, 13(1), 58-66. https://doi.org/10.1016/S1697-2600(13)70008-5

Chacón-Moscoso, S., Sanduvete-Chaves, S., & Sánchez-Martín, M. (2016). The development of a checklist to enhance methodological quality in intervention programs. Frontiers in Psychology, 7:1811. https://doi.org/10.3389/fpsyg.2016.01811

Chacón-Moscoso, S., & Shadish, W. R. (2001). Observational studies and quasi-experimental designs: similarities, differences, and generalizations. Metodología de las Ciencias del Comportamiento, 3, 283-290. https://idus.us.es/handle/11441/43140

Chacón-Moscoso, S., Shadish, W. R., & Cook, T. D. (2008). Diseños evaluativos de intervención media [Evaluative designs of medium intervention]. In M. T. Anguera, S. Chacón-Moscoso, & A. Blanco (Coords.), Evaluación de programas sociales y sanitarios. Un abordaje metodológico (pp. 185-218). Síntesis.

Cook, T. D. (1991). Clarifying the warrant for generalized causal inferences in quasi-experimentation. In M. W. McLaughlin, & D. Phillips (Eds.), Evaluation and education at quarter century (pp. 115-144). National Society for the Study of Education.

Cook, T. D., & Campbell, D. T. (1979). Quasi-experimentation: Design and analysis issues for field settings. Houghton Mifflin.

Cook, T. D., & Campbell, D. T. (1986). The causal assumptions of quasi-experimental practice. Synthese, 28, 141-180. https://www.jstor.org/stable/20116298

Cook, T. D., Campbell, D. T., & Peracchio, L. (1990). Quasi experimentation. In M. D. Dunnette, & L. M. Hough (Eds.), Handbook of industrial and organizational psychology (pp. 491-576). Consulting Psychologist Press.

Crocker, L., & Algina, J. (1986). Introduction to classical and modern test theory. Holt, Rinehart and Winston.

Cronbach, L. (1982). Designing evaluations of educational and social programs. Jossey-Bass.

Eisner, E. W. (1991). The enlightened eye: Qualitative inquiry and the enhancement of educational practice. Macmillan.

Gabin, B., Camerino, O., Anguera, M. T., & Castañer, M. (2012). Procedia - Social and Behavioral Sciences, 46, 4692-4694. https://doi.org/10.1016/j.sbspro.2012.06.320

Glesne, C., & Peshkin, A. (1992). Becoming qualitative researchers: An introduction. Longman.

Gorard, S., & Cook, T. D. (2007). Where does good evidence come from? International Journal of Research & Methods in Education, 30, 307-323. https://doi.org/10.1080/17437270701614790

Halpern, E. S. (1983). Auditing naturalistic inquiries: The development and application of a model. Indiana University.

Hernández-Mendo, A., López-López, J. A., Castellano, J., Morales-Sánchez, V., & Pastrana, J. L. (2012). Hoisan 1.2: programa informático para uso en metodología observacional [Hoisan 1.2: software for observational methodology]. Cuadernos de Psicología del Deporte 12, 55–78. https://doi.org/10.4321/S1578-84232012000100006

Holgado, F. P., Carrasco, M. A., del Barrio-Gándara, M. V., & Chacón-Moscoso, S. (2009). Factor analysis of the Big Five Questionnaire using polychoric correlations in children‎. Quality & Quantity, 43(1), 75-85. https://doi.org/10.1007/s11135-007-9085-3

Holgado, F. P., Chacón-Moscoso, S., Barbero, M. I., & Sanduvete-Chaves, S. (2006). Training satisfaction rating scale: Development of a measurement model using polychoric correlations. European Journal of Psychological Assessment, 22, 268-279. https://doi.org/10.1027/1015-5759.22.4.268

Holgado, F. P., Chacón-Moscoso, S., Barbero, M. I., & Vila, E. (2010). Polychoric versus Pearson correlations in Exploratory and Confirmatory Factor Analysis with ordinal variables. Quality & Quantity, 44, 153-166. https://doi.org/10.1007/s11135-008-9190-y

Kvale, S. (1995). The social construction of validity. Qualitative Inquiry, 1, 19–40. https://doi.org/10.1177/107780049500100103

Maxwell, J. A. (1992). Understanding and validity in qualitative research. Harvard Educational Review, 62, 279-299. http://www.msuedtechsandbox.com/hybridphd/wp-content/uploads/2010/06/maxwell92.pdf

Onwuegbuzie, A. J. (2003). Expanding the framework of internal and external validity in quantitative research. Research in the Schools, 10, 71-90. https://files.eric.ed.gov/fulltext/ED448205.pdf

Onwuegbuzie, A. J., & Daniel, L. G. (2003). Typology of analytical and interpretational errors in quantitative and qualitative educational research. Current Issues in Education, 6(2), 1-34. http://cie.asu.edu/ojs/index.php/cieatasu/article/download/1609/651

Onwuegbuzie, A. J., & Leech, N. I. (2007a). A call for qualitative power analyses. Quality & Quantity, 41, 105-121.

Onwuegbuzie, A. J., & Leech, N. I. (2007b). Validity and qualitative research: An oxymoron? Quality & Quantity, 41, 233-249. https://doi.org/10.1007/s11135-006-9000-3

Portell, M., Anguera, M. T., Chacón-Moscoso, S., & Sanduvete-Chaves, S. (2015). Guidelines for Reporting Evaluations based on Observational Methodology. Psicothema, 27(3), 283-289. https://doi.org/10.7334/psicothema2014.276

Rubio-Aparicio, M., Marín-Martínez, F., Sánchez-Meca, J., & López-López, J. A. (2018). A methodological review of meta-analyses about the effectiveness of clinical psychology treatments. Behavior Research Methods, 50, 2057-2073. https://doi.org/10.3758/s13428-017-0973-8

Rubio-Aparicio, M., Sánchez-Meca, J., Marín-Martínez, F., & López-López, J. A. (2018). Guidelines for reporting systematic reviews and meta-analyses. Anales de Psicología, 34, 412-420. https://doi.org/10.6018/analesps.34.2.320131

Sánchez-Algarra, P., & Anguera, M. T. (1993). Aproximación al PERT en evaluación de programas desde las técnicas matemáticas de análisis de grafos [PERT proposal in program evaluation through graph mathematic technique]. Anales de Psicología, 9, 213-226. https://www.um.es/analesps/v09/v09_2/08-09_2.pdf

Sánchez-Algarra, P., & Anguera, M. T. (2013). Qualitative/quantitative integration in the inductive observational study of interactive behaviour: Impact of recording and coding among predominating perspectives. Quality & Quantity, 47, 1237-1257. https://doi.org/10.1007/s11135-012-9764-6

Sanduvete-Chaves, S., Barbero, M. I., Chacón-Moscoso, S., Pérez, J. A., Holgado, F. P., Sánchez-Marín, M., & Lozano-Lozano, J. A. (2009). Métodos de escalamiento aplicados a la priorización de necesidades de formación en organizaciones [Scaling methods applied to set priorities in training programs in organizations]. Psicothema, 21, 509-514. http://www.psicothema.com/pdf/3662.pdf

Santoyo, C., Jonsson, G. K., Anguera, M. T., & López-López, J. A. (2017). Observational analysis of the organization of on-task behavior in the classroom using complementary data analyses. Anales de Psicología, 33(3), 497-514. http://dx.doi.org/10.6018/analesps.33.3.271061

Sene-Mir, A. M., Portell, M., Anguera, M. T., & Chacón-Moscoso, S. (2020). Manual material handling training: The effect of self-observation, hetero-observational and intrinsic feedback on workers’ knowledge and behaviour. International Journal of Environmental Research and Public Health, 17, 8095. https://doi.org/10.3390/ijerph17218095

Shadish, W. R. (2002). Revisiting field experimentation: field notes for the future. Psychological Methods, 7, 3-18. https://doi.org/10.1037/1082-989x.7.1.3

Shadish, W. R., Chacón-Moscoso, S., & Sánchez-Meca, J. (2005). Evidence-based decision making: enhancing systematic reviews of program evaluation results in Europe. Evaluation, 11, 95-110. https://doi.org/10.1177/1356389005053196

Shadish, W. R., Cook, T. D., & Campbell, D. T. (2002). Experimental and quasi-experimental designs for generalized causal inference. Houghton-Mifflin.

Soto, A., Camerino, O., Iglesias, X., Anguera, M. T., & Castañer, M. (2019). LINCE PLUS: Research software for behavior video analysis. Apunts. Educación Física y Deportes, 137(3), 149-153. https://dx.doi.org/10.5672/apunts.2014-0983.es.(2019/3).137.11

Stake, R. E. (2006). Multiple case study analysis. Guilford Press.

Publicado
11-08-2021
Cómo citar
Chacón-Moscoso, S., Sanduvete-Chaves, S., Lozano-Lozano, J. A., Portell, M., & Anguera, M. T. (2021). Del ensayo controlado aleatorizado a los métodos mixtos: un marco práctico para la evaluación de programas basado en la calidad metodológica. Anales de Psicología / Annals of Psychology, 37(3), 599–608. https://doi.org/10.6018/analesps.470021
Número
Sección
Metodología

Artículos más leídos del mismo autor/a