The consensus agreement method in observational methodology: impact of sample size on time requirements and dataset quality
efectos del tamaño del grupo en el tiempo y la calidad del registro
Supporting Agencies
- Los autores agradecen el apoyo del subproyecto Integration ways between qualitative and quantitative data, multiple case development, and synthesis review as main axis for an innovative future in physical activity and sports research [PGC2018-098742-B-C31] (2019-2021) (Ministerio de Ciencia, Innovación y Universidades / Agencia Estatal de Investigación / Fondo Europeo de Desarrollo Regional), que forma parte del proyecto coordinado New approach of research in physical activity and sport from mixed methods perspective (NARPAS_MM) [SPGC201800X098742CV0]. Asimismo, los autores agradecen el apoyo del grupo de investigación de la Generalitat de Catalunya, Grup de recerca i innovació en dissenys (GRID), Tecnología i aplicació multimedia i digital als dissenys observacionals [2017 SGR 1405]. Este estudio ha recibido también ayuda de fondos de investigación de la Universidad de La Rioja.
Abstract
The reliability of datasets in observational methodology is typically tested using coefficients of agreement, correlation coefficients, or generalizability theory. Another increasingly popular method used to demonstrate the quality of data is the consensus agreement method, in which two or more observers agree on their coding decisions while creating the dataset. Although the consensus agreement method is being increasingly used in observational studies, few studies have conducted an in-depth analysis of how this qualitative procedure is approached or of how it can be optimized. In this study, in addition to presenting a practical example of the application of the consensus agreement method, we compare the results from three groups (of two, three, and four observers) to analyze performance in terms of time required to code the data and goodness of fit with respect to an optimal dataset. No significant differences were found between the three groups for either of the variables analyzed. Prior calculation of the sample size required to detect significant differences between the groups adds strength to our conclusions regarding the efficiency of the consensus agreement method.
Downloads
References
Alcover, C, Mairena, M.A., Mezzatesta, M., Elías, N., Díez, M., Balañá, G., ... y Arias-Pujol, E. (2019). Mixed methods approach to describe social interaction during a group intervention for adolescents with Autism Spectrum Disorders. Frontiers in Psychology, 10:1158. http://dx.doi.org/10.3389/fpsyg.2019.01158
Alsasua, R., Lapresa, D., Arana, J., y Anguera, M.T. (2019). A log-linear analysis of efficiency in elite basketball applied to observational methodology. International Journal of Sports Science & Coaching, 14(3), 363-371. https://doi.org/10.1177/1747954119837819
Amatria, M., Lapresa, D., Arana, J., Anguera, M.T., y Garzón, B. (2016). Optimization of Game Formats in U-10 Soccer Using Logistic Regression Analysis. Journal of Human Kinetics, 54, 163-171.
Anguera, M.T. (1990). Metodología observacional. En J. Arnau, Anguera, M.T. y J. Gómez (Eds.), Metodología de la investigación en Ciencias del Comportamiento, 125-238. Murcia: Universidad de Murcia.
Anguera, M.T. (2003). La observación. En C. Moreno Rosset (Ed.), Evaluación psicológica. concepto, proceso y aplicación en las áreas del desarrollo y de la inteligencia (pp. 271-308). Madrid: Sanz y Torres.
Anguera, M.T., Blanco-Villaseñor, A., Losada, J.L., y Sánchez-Algarra, P. (1999). Análisis de la competencia en la selección de observadores. Metodología de las Ciencias del Comportamiento, 1(1), 95-114.
Arana, J., Lapresa, D., Anguera, M.T., y Garzón, B. (2016). Ad hoc procedure for optimising agreement between observational records. Anales de Psicología, 32(2), 589-595. http://dx.doi.org/10.6018/analesps.32.2.213551
Ardá, T., Maneiro, R., Rial, A., Losada, J.L., y Casal, A. (2014). Análisis de la eficacia de los saques de esquina en la copa del mundo de fútbol 2010. Un intento de identificación de variables explicativas. Revista de Psicología del Deporte, 23(1), 165-172.
Arias, J.L., Argudo, F., y Alonso, J.I. (2009). El proceso de formación de observadores y la obtención de la fiabilidad en metodología observacional para analizar la dinámica de juego en minibásquet. Revista Apunts Educación Física y Deportes, 4, 40-45.
Belasko, M., Herrán, E., y Anguera, M.T. (2019). Dressing toddlers at the Emmi Pikler nursery school in Budapest: caregiver instrumental behavioral pattern. European Early Childhood Education Research Journal, 27(6), 972-887. https://doi.org/10.1080/1350293X.2019.1678928
Bakeman, R. (1978). Untangling streams of behavior: Sequential analysis of observation data. In G.P. Sackett (Ed.) Observing Behavior, Vol. 2: Data collection and analysis methods, 63-78. Baltimore: University of Park Press.
Bakeman, R. y Quera, V. (1995). Analyzing interaction: Sequential analysis with SDIS and GSEQ. Cambridge: Ed. Cambridge University Press.
Bakeman, R. y Quera, V. (2011). Sequential Analysis and Observational Methods for the Behavioral Sciences. Cambridge: Cambridge University Press.
Belza, H., Herran, E., y Anguera, M.T. (2020). Early childhood, breakfast and related tools: Analysis of adults' function as mediators. European Journal of Psychology of Education, 25, 495-527. https://doi.org/10.1007/s10212-019-00438-4
Blanco-Villaseñor, A. y Anguera, M.T. (2003). Calidad de los datos registrados en el ámbito deportivo. En A. Hernández-Mendo (Coord.), Psicología del Deporte (Vol. 2). Metodología (p. 35-73). Buenos Aires: Efdeportes (www.efdeportes.com).
Breslow, N. (1970). A generalized Kruskal-Wallis test for comparing K samples subject to unequal patterns of censorship. Biometrika, 57(3), 579-594. https://doi.org/10.2307/2334776
Cárdenas, M. y Arancibia, H. (2016). Potencia estadística y cálculo del tamaño del efecto en G*Power: complementos a las pruebas de significación estadística y su aplicación en psicología. Salud & Sociedad, 5(2), 210-244. https://doi.org/10.22199/S07187475.2014.0002.00006
Castellano, J., Hernández-Mendo, A., Gómez de Segura, P., Fontetxa, E., y Bueno, I. (2000). Sistema de codificación y análisis de la calidad del dato en el fútbol de rendimiento. Psicothema, 12(4), 635-641.
Castellano, J., Perea, A., y Hernández-Mendo, A. (2008). Análisis de la evolución del fútbol a lo largo de los mundiales. Psicothema, 20(4), 928-932.
Castellano, J. y Hernández-Mendo, A. (2003). El análisis de coordenadas polares para la estimación de relaciones en la interacción motriz en fútbol. Psicothema, 15(4), 569-574.
Cohen, J. (1960). A coefficient of agreement for nominal scales. Educational and Psychological Measurement, 20, 37-46. https://doi.org/10.1177/001316446002000104
Cronbach, L.J., Gleser, G.C., Nanda, H., y Rajaratnam, N. (1972). The dependability of behavioral measurements: theory of generalizability for scores and profiles. New York: Wiley.
Diana, B., Zurloni, V., Elia, M., Cavalera, C.M., Jonsson, G.K., y Anguera, M.T. (2017). How game location affects soccer performance: T-pattern analysis of attack actions. Frontiers in Psychology, 8:1415. https://doi.org/10.3389/fpsyg.2017.01415
Faul, F., Erdfelder, E., Buchner, A., y Lang, A.G. (2009). Statistical power analyses using G*Power 3.1: Tests for correlation and regression analyses. Behavior Research Methods, 41, 1149-1160. https://doi.org/10.3758/BRM.41.4.1149
Faul, F., Erdfelder, E., Lang, A.G., y Buchner, A. (2007). G*Power 3: A flexible statistical power analysis program for the social, behavioral, and biomedical sciences. Behavior Research Methods, 39, 175-191. https://doi.org/10.3758/BF03193146
Gabín, B., Camerino, O., Anguera, M.T., y Castañer, M. (2012). Lince: multiplatform sport analysis software. Procedia-Social and Behavioral Sciences, 46, 4692-4694. https://doi.org/10.1016/j.sbspro.2012.06.320
Gamonales, J.M., Muñoz, J., León, K., e Ibáñez, S.J. (2018). Entrenamiento y confiabilidad entre observadores en el análisis del fútbol para ciegos. Retos: nuevas tendencias en educación física, deporte y recreación, (34), 155-161. https://doi.org/10.47197/retos.v0i34.55651
Garay, J.O., Hernández-Mendo, A., y Morales, V. (2006). Sistema de codificación y análisis de la calidad del dato en el tenis de dobles. Revista de Psicología del Deporte, 15(2), 279-294.
Garzón, B. (2010). Adaptando el baloncesto al niño de 12-13 años: Análisis observacional del lanzamiento del tiro libre (Tesis doctoral). Universidad de La Rioja, Logroño.
Gorospe, G., Hernández-Mendo, A., Anguera, M. T., y Martínez de Santos, R. (2005). Desarrollo y optimización de una herramienta observacional en el tenis de individuales. Psicothema, 17(1), 123-127.
Hernández-Mendo, A., Díaz, F., y Morales, V. (2010). Construcción de una herramienta observacional para evaluar las conductas prosociales en las clases de educación física. Revista de Psicología del Deporte, 19(2) 305-318.
Hernández-Mendo, A., y Planchuelo, L. (2012). Una herramienta observacional para la evaluación del desarrollo moral en las clases de educación física en primaria. Revista Iberoamericana de Psicología del Ejercicio y el Deporte, 7(2) 287-306.
Jurado, M.C., Anguera, M.T., Reigal, R., y Hernández-Mendo, A. (2021). Análisis de la calidad del dato de un instrumento de observación del clima motivacional: conductas verbales y proxémicas de monitores de mantenimiento físico. Cuadernos de Psicología del Deporte, 21(1), 18-42.
Landis, J.R., y Koch, G.G. (1977). The measurement of observer agreement for categorical data. Biometrics, 33, 159-174. https://doi.org/10.2307/2529310
Lapresa, D., Álvarez, I., Anguera, M.T., Arana, J., y Garzón, B. (2015). Comparative analysis of the use of space in 7-a-side and 8-a-side soccer: how to determine the minimum sample size in observational methodology. Journal Motricidade, 11(4), 92-103.
Lapresa, D., Arana, J., Anguera, M.T., Pérez, J.I., y Amatria, M. (2016). Application of logistic regression models in observational methodology: game formats in grassroots football in initiation into football. Anales de Psicología, 32(1), 288-294. https://doi.org/10.6018/analesps.32.1.186951
Lapresa, D., Arana, J., Amatria, M., Fernández F.J., y Anguera, M.T. (2017). Fútbol: efectos de una unidad didáctica en la iniciación temprana. Revista Apunts Educación Física y Deportes, 127, 59-67.
Lapresa, D., Arana, J., y Garzón, B. (2020). Iniciación temprana al fútbol: pautas para orientar la formación. Barcelona: Fútbol de Libro.
Losada, J.L. y Manolov, R. (2015). The process of basic training, applied training, maintaining the performance of an observer. Quality & Quantity, 49(1), 339-347. https://doi.org/10.1007/s11135-014-9989-7
Mitchell, S.K. (1979). Interobserver agreement, reliability, and generalizability of data collected in observational studies. Psychological Bulletin, 86(2), 376-390. https://doi.org/10.1037/0033-2909.86.2.376
Montesano, A., Feixas, G., y Varlotta, N. (2009). Análisis de contenido de constructos personales en la depresión. Salud mental, 32(5), 371-379.
Morillo, J.P., Reigal, R.E., y Hernández-Mendo, A. (2015) Análisis del ataque posicional de balonmano playa masculino y femenino mediante coordenadas polares. RICYDE. Revista Internacional de Ciencias del Deporte, 11(41), 226-244. http://dx.doi.org/10.5232/ricyde2015.04103
O´Donoghue, P. (2007). Reliability issues in performance analysis. International Journal of Performance Analysis in Sport, 7(1), 35-48. https://doi.org/10.1080/24748668.2007.11868386
Planes, X. y Anguera, M.T. (2015). Relevancia de los diferentes momentos del juego y de las acciones a balón parado (ABP) en los rendimientos del TC Barcelona y Real Madrid durante la liga nacional de fútbol profesional 2011/12. Revista Apunts Educación Física y Deportes, 121(3), 56-63.
Sagastui, J., Herrán, E., y Anguera, M.T. (2020). A Systematic Observation of Early Childhood Educators Accompanying Young Children’s Free Play at Emmi Pikler Nursery School: Instrumental Behaviors and Their Relational Value. Frontiers in Psychology, 11:1731. https://doi.org/10.3389/fpsyg.2020.01731
Sastre, V., Lapresa, D., Arana, J., Ibáñez, R., y Anguera, M.T. (2020). Observational analysis of technical-tactical performance in initiation to combat in karate, International Journal of Performance Analysis in Sport, 21(1), 126-138. https://doi.org/10.1080/24748668.2020.1853450
Usabiaga, O., Castellano, J., Blanco-Villaseñor, A., y Casamichana, D. (2013). La Teoría de la Generalizabilidad en las primeras fases del método observacional aplicado en el ámbito de la iniciación deportiva: calidad del dato y estimación de la muestra. Revista de Psicología del Deporte, 22(1), 103-109.
Usabiaga, O., y Castellano, J. (2014). Uso estratégico del espacio en categorías de formación de pelota vasca. RICYDE. Revista Internacional de Ciencias del Deporte, 10(36). http://dx.doi.org/10.5232/ricyde2014.03602
Vázquez-Diz, J.A., Morillo-Baro, J.P., Reigal, R.E., Morales-Sánchez, V., y Hernández-Mendo, A. (2019a). Contextual factors and decision-making in the behavior of finalization in the positional attack in beach handball: differences by gender through polar coordinates analysis. Frontiers in Psychology, 10, 1386. https://doi.org/10.3389/fpsyg.2019.01386
Vázquez-Diz, J.A., Morillo-Baro, J.P., Reigal, R.E., Morales-Sánchez, V., y Hernández-Mendo, A. (2019b) Mixed methods in decision-making through polar coordinate technique: Differences by gender on beach handball specialist. Frontiers in Psychology 10, 1627. doi: 10.3389/fpsyg.2019.01627
Vigil-Colet, A., Morales-Vives, F., y Lorenzo-Seva, U. (2013). How social desirability and acquiescence affect the age-personality relationship. Psicothema, 25(3), 342-349. https://doi.org/10.1016/j.paid.2013.07.370
Las obras que se publican en esta revista están sujetas a los siguientes términos:
1. El Servicio de Publicaciones de la Universidad de Murcia (la editorial) conserva los derechos patrimoniales (copyright) de las obras publicadas, y favorece y permite la reutilización de las mismas bajo la licencia de uso indicada en el punto 2.
2. Las obras se publican en la edición electrónica de la revista bajo una licencia Creative Commons Reconocimiento-NoComercial-SinObraDerivada 3.0 España (texto legal). Se pueden copiar, usar, difundir, transmitir y exponer públicamente, siempre que: i) se cite la autoría y la fuente original de su publicación (revista, editorial y URL de la obra); ii) no se usen para fines comerciales; iii) se mencione la existencia y especificaciones de esta licencia de uso.
3. Condiciones de auto-archivo. Se permite y se anima a los autores a difundir electrónicamente las versiones pre-print (versión antes de ser evaluada) y/o post-print (versión evaluada y aceptada para su publicación) de sus obras antes de su publicación, ya que favorece su circulación y difusión más temprana y con ello un posible aumento en su citación y alcance entre la comunidad académica. Color RoMEO: verde.
