Confidence interval for difference between coefficients of content validity (Aiken’s V): A SPSS syntax
Abstract
Analysis of content validity usually includes measures to summarize the ratings of expert judges. However, differences between groups of judges have not been previously raised, and it is plausible that these differences occur. The present manuscript raises the comparison between-groups of the coefficient V (Aiken, 1980), as a strategy that must be implemented in the analysis of the content validity. We present a method based on the construction of confidence intervals for the difference between coefficients V, for two independent groups. Finally, a free SPSS syntax is also included.
Downloads
References
Aiken, L. R. (1980). Content validity and reliability of single items or questionnaires. Educational and. Psychological Measurement, 40, 955–959. doi:10.1177/001316448004000419
Aiken, L. R. (1985). Three coefficients for analyzing the reliability and validity of ratings. Educational and Psychological Measurement, 45, 131-142. doi:10.1177/0013164485451012
Domínguez, S., & Villegas, G. (2012). Estimación de la validez de contenido de una escala de calidad de vida para personas adultas con discapacidad intelectual. Revista de Psicología (Arequipa), 2(2), 207-219.
Domínguez, S., Villegas, G., Yauri, C., Mattos, E., & Ramírez, F. (2012). Propiedades psicométricas de una escala de autoeficacia para situaciones académicas en estudiantes universitarios peruanos. Revista de Psicología (Universidad Católica San Pablo), 2(1), 29-39.
Donner, A. & Zou, G. Y. (2002). Interval estimation for a difference between intraclass kappa statistics. Biometrics, 58, 209–214. doi:10.1111/j.0006-341x.2002.00209.x
Donner, A., & Zou, G. Y. (2002). Interval estimation for a difference between intraclass kappa statistics. Biometrics, 58, 209–215. doi:10.1111/j.0006-341x.2002.00209.x
Escurra, L. (1988). Cuantificación de la validez de contenido por el criterio de jueces. Revista de Psicología, 6(1/2), 103-111.
Eysenck, H. J. & Eysenck, S. G. (2001). Cuestionario de Personalidad de Eysenck, versión revisada (EPQ-R). Madrid: TEA.
Freiberg, A., de la Iglesia, G., Beatriz Stover, J., & Fernández, M. (2014). Paradoxical Personality Scale: Its development and construct validity analysis. International Journal of Psychological Research, 7(1), 49-72. doi:10.21500/20112084.667
García, M., & García, M. (2013). Estimación de la validez de contenido en una escala de valoración de grado de violencia de género soportado en adolescentes. Acción psicológica, 10(2), 41-58. doi:10.5944/ap.10.2.11823
García, S., Merino, J., & Valero, A. (2015). Análisis de la opinión de los alumnos sobre la calidad de las clases de educación física impartidas por los docentes de secundaria. Journal of Sport and Health Research, 7(3), 181-192.
Gómez, P., Sainz de Baranda., P., Ortega, E., Contreras, O., & Olmedilla, A. (2014). Diseño y validación de un cuestionario sobre la percepción del deportista respecto a su reincorporación al entrenamiento tras una lesión. Revista de Psicología del Deporte, 23(2), 479-487.
Medrano, L. A., Liporace, M. F., & Pérez, E. (2014). Sistema de evaluación informatizado de la satisfacción académica para estudiantes universitarios de primer año. Electronic Journal of Research in Educational Psychology, 12(33), 541-562.
Merino, C. (2013, Septiembre). Coeficiente V de Aiken recargado: Avances metodológicos para su uso. Ponencia presentada en el Primer Congreso Regional de Psicología, del 9 al 11 de septiembre, Lima, Perú.
Merino, C., & Livia, J. (2009). Intervalos de confianza asimétricos para el índice de validez de contenido: un programa Visual Basic para la V de Aiken. Anales de Psicología, 25(1), 169-171.
Merino, J., & Valero, A., (2014). Validación de contenido de la escala de los estilos de enseñanza recogida en el cuestionario DEMEVI. Habilidad Motriz, 43, 12-24.
Merino-Soto, C. (2016). Percepción de la claridad de los ítems: Comparación del juicio de estudiantes y jueces-expertos. Revista Latinoamericana de Ciencias Sociales, Niñez y Juventud, 14(2), 1469-1477. doi:10.11600/1692715x.14239120615
Newcombe, R. G. & Merino, C. (2006) Intervalos de confianza para las estimaciones de proporciones y sus diferencias entre ellas. Interdisciplinaria, 23(2), 141-154
Newcombe, R. G. (2012). Confidence Intervals for Proportions and Related Measures of Effect Size. Chapman & Hall/CRC Biostatistics Series.
Newcombe, R.G. (2011). Propagating imprecision: combining confidence intervals from independent sources. Communications in Statistics—Theory and Methods, 40, 3154–3180. doi:10.1080/03610921003764225
Palao, J., Manzanares, P., & Ortega, E. (2015). Diseño y validación de un instrumento de observación para las acciones técnico-tácticas en voley-playa. Motriz: Revista de Educação Física, 21(2), 137-147. doi:10.1590/S1980-65742015000200004
Penfield, R. D. & Giacobbi, P. R., Jr. (2004) Applying a score confidence interval to Aiken’s item content-relevance index. Measurement in Physical Education and Exercise Science, 8(4), 213-225. doi:10.1207/s15327841mpee0804_3
Ramasundarahettige, C. F., Donner, A. & Zou, G. Y. (2009). Confidence interval construction for a difference between two dependent intraclass correlation coefficients. Statistics in Medicine, 28, 1041–1053. doi:10.1002/sim.3523
Rotondi, M. A. (2014). Towards the estimation of effect measures in studies using respondent-driven sampling. Journal of Urban Healt : Bulletin of the New York Academy of Medicine, 91(3), 592–597. doi:10.1007/s11524-013-9836-5
Sánchez-Alcaraz, B., & Parra-Meroño, M. (2013). Diseño y validación de un cuestionario de satisfacción laboral para técnicos deportivos (CSLTD). Cultura, Ciencia y Deporte, 9(8), 119-127. doi:10.12800/ccd.v8i23.296
Smithson, M. (2003). Confidence Intervals. (Sage University Papers Series on Quantitative Applications in the Social Sciences), 07-140, Thousand Oaks, CA: Sage. doi:10.4135/9781412983761
Vallejo-Medina, P., Granados, M. R., & Sierra, J. C. (2014). Propuesta y validación de una versión breve del Sexual Opinion Survey en población española. Revista Internacional de Andrología, 12(2), 47-54. doi:10.1016/j.androl.2013.04.004
Wang, H. & Chow, S. C. (2002). A practical approach for comparing means of two groups without equal variance assumption. Statistics in Medicine, 21, 3137–3151. doi:10.1002/sim.1238
Wilson, E. B. (1927). Probable inference, the law of succession, and statistical inference. Journal of the American Statistical Association, 22, 209-212. doi:10.2307/2276774
Zou, G. Y. (2007). Toward using confidence intervals to compare correlations. Psychological Methods, 12, 399–413. doi:10.1037/1082-989x.12.4.399.supp
Zou, G. Y., & Donner, A. (2008). Construction of confidence limits about effect measures: a general approach. Statistics in Medicine, 27, 1693–1702. doi:10.1002/sim.3095
Zou, G. Y., Huo, C. Y., & Taleban, J. (2009a). Simple confidence intervals for lognormal means and their differences with environmental applications. Environmetrics, 20, 172–180. doi:10.1002/env.919
Zou, G. Y., Taleban, J. & Huo, C. Y. (2009b). Confidence interval estimation for lognormal data with application to health economics. Computational Statistics & Data Analysis, 53, 3755–3764. doi:10.1016/j.csda.2009.03.016
The works published in this journal are subject to the following terms:
1. The Publications Service of the University of Murcia (the publisher) retains the property rights (copyright) of published works, and encourages and enables the reuse of the same under the license specified in paragraph 2.
© Servicio de Publicaciones, Universidad de Murcia, 2022
2. The works are published in the online edition of the journal under a Creative Commons Reconocimiento-CompartirIgual 4.0 (legal text). You can copy, use, distribute, transmit and publicly display, provided that: i) you cite the author and the original source of publication (journal, editorial and URL of the work), ii) are not used for commercial purposes, iii ) mentions the existence and specifications of this license.
This work is licensed under a Creative Commons Attribution-ShareAlike 4.0 International License.
3. Conditions of self-archiving. Is allowed and encouraged the authors to disseminate electronically pre-print versions (version before being evaluated and sent to the journal) and / or post-print (version reviewed and accepted for publication) of their works before publication, as it encourages its earliest circulation and diffusion and thus a possible increase in its citation and scope between the academic community. RoMEO Color: Green.