Quality Indicators for Scientific Publications in the Social Sciences in Spain: a Comparative Analysis between Evaluation Agencies
Abstract
Scientific publications (articles and books) are one of the basics for evaluating research. This article describes, analyzes and compares the quality criteria employed by the three major agencies which evaluate the scientific activity of Spanish university faculty when evaluating publications in the area of Social Sciences. The three selected entities are: ANECA (National Agency for Quality Assessment and Accreditation of Spain), ANEP (National Evaluation and Planning Agency) and CNEAI (National Research Activity Evaluation Commission). The results show that the most important quality criterion is the publication of articles in journals included in the Journal Citation Reports and SCOPUS. The conclusion reached was that international bibliographic and bibliometric databases are the only unanimously accepted quality indicators.
Downloads
References
Agencia Nacional de Evaluación de la Calidad y Acreditación [ANECA] (2008). Principios y orientaciones para la aplicación de los criterios de investigación. http://www.aneca.es/Programas/ACADEMIA/ACADEMIA-instrucciones-para-lasolicitud/Documentos-del-Programa
Agencia Nacional de Evaluación de la Calidad y Acreditación [ANECA] (2012). Principios y orientaciones 2.0. http://biblioteca.uam.es/economicas/documentos/Principiosyorientaciones20.pdf
Agencia Nacional de Evaluación y Prospectiva [ANEP] (2007). Criterios de evaluación de la I+D en Ciencias Sociales. http://www.idi.mineco.gob.es/stfls/MICINN/Investigacion/FICHEROS/2007-criterios-evaluacion-ccss3.pdf
Aguillo, I. F. (2014). Políticas de información y publicación científica. El profesional de la información, 23(2), 113-118. http://dx.doi.org/10.3145/epi.2014.mar.02.
Borrego, A., & Urbano, C. (2006). La evaluación de revistas científicas en Ciencias sociales y Humanidades. Información, Cultura y Sociedad, 14, 11-27.
Cancelo, M., & Bastida, M. (2013). La evaluación de la investigación en España: los sexenios en las áreas de economía y empresa. CIRIEC-España, Revista de Economía Pública, Social y Cooperativa, 78, 265-292.
Caride, J. A. (2011). La evaluación-acreditación de la investigación en España: la experiencia de la Agencia Nacional de Evaluación y Prospectiva (ANEP). Educar, 47(1), 165-179.
Castro, J., Barrenechea, J., & Ibarra, A. (2006). Indicadores de actividad científica en Ciencias Sociales y Humanidades: hacia un modelo de evaluación integral basado en patrones disciplinarios de investigación. En A. Ibarra, J. Castro y J. Barrenechea (Eds.), La evaluación de la actividad científica en Ciencias Sociales y Humanidades (pp. 73-103). Bilbao: Servicio Editorial de la UPV/EHU.
Delgado-López-Cózar, E., Orduña-Malea, E., Jiménez-Contreras, E., & Ruiz-Pérez, R. (2014). H Index Scholar: el índice h de los profesores de las universidades públicas españolas en humanidades y ciencias sociales. El profesional de la información, 23(1), 87-94.
Delgado-López-Cózar, E., & Ruiz-Pérez, R. (2009). La comunicación y edición científica fundamentos conceptuales. En C. García Caro y J. Vílchez Pardo (Coord.), Homenaje a Isabel de Torres Ramírez: Estudios de documentación dedicados a su memoria (pp. 131- 150). Granada: Editorial Universidad de Granada.
Delgado F. J., & Fernández-Llera, R. (2012). Sobre la evaluación del profesorado universitario (especial referencia a ciencias económicas y jurídicas). Revista Española de Documentación Científica, 35(2), 361-375.
Galán, A., González-Galán, M.A., & Rodríguez-Patrón, P. (2014). La evaluación del profesorado universitario en España: sistema nacional y divergencias territoriales. Revista de Educación, 366, 136-164.
Galán, A., & Zych, I. (2011). Análisis de los criterios de la Comisión Nacional Evaluadora de la Actividad Investigadora (CNEAI) para la concesión de los tramos de investigación en Educación. Bordón. Revista de pedagogía, 63(2), 117-140.
Giménez-Toledo, E. (2014). Imposturas en el ecosistema de la publicación científica. Revista de Investigación Educativa, 32(1), 13-23. http://dx.doi.org/10.6018/rie.32.1.19025
Hernández, F., & Maquilón, J.J. (2010). Indicadores de calidad de las revistas científicas y sistema de gestión editorial mediante OJS. Revista de Investigación Educativa, 28(1), 13-29.
Jiménez-Contreras, E., De Moya Anegón, F., & Delgado-López-Cózar, E. (2003). The evolution of research activity in Spain. The impact of National Commisssion for the Evaluation of Research Activity (CNEAI). Research Policy, 32(1), 123-142.
Ley 15/2014, de 16 de septiembre de racionalización del Sector Público y otras medidas de reforma administrativa.
Masip, P. (2011). Efecto Aneca: producción española en comunicación en el Social Science Sitation Index. Anuario ThinkEPI, 5, 206-210.
Moreno-Pulido, A., López-González, M. Á., Rubio-Garay, F., Ángel Saúl, L., & Sánchez- Elvira-Paniagua, Á. (2013). Evolución de las revistas españolas de Ciencias Sociales en el Journal Citation Reports (2006-2010) y su valoración como indicio de calidad en la normativa evaluadora española. Revista Española de Documentación Científica, 36(3). http://dx.doi.org/10.3989/redc.2013.3.987
Ortiz-de-Urbina-Criado, M., & Mora-Valentín, E-M. (2013). El sistema de acreditación del profesorado a través del Programa ACADEMIA: Evolución y cambios. Revista Española de Documentación Científica, 36(1). http://dx.doi.org/10.3989/redc.2013.1.971
Perceval, J. M., & Fornieles, J. (2008). Confucio contra Sócrates: la perversa relación entre la investigación y la acreditación. Anàlisi, 36, 213-224.
Proyecto de R.D. por el que se modifica el R.D. 1312/2007, por el que se establece la acreditación nacional para el acceso a los cuerpos docentes universitarios.
Resolución de 26 de noviembre de 2014, de la Comisión Nacional Evaluadora de la Actividad Investigadora, por la que se publican los criterios específicos aprobados para cada uno de los campos de evaluación. Boletín Oficial del Estado de 1 de diciembre de 2014, 290, 98204-98219. http://www.boe.es/diario_boe/txt.php?id=BOE-A-2014-12482
Rodríguez-Yunta, L., & Giménez-Toledo, E. (2013). Fusión, coedición o reestructuración de revistas científicas en humanidades y ciencias sociales. El profesional de la información, 22(1), 36-45. http://dx.doi.org/10.3145/epi.2013.ene.05
Rovira, L. (2006). ¿Hacia una evaluación métrica de la investigación en las humanidades y en las ciencias sociales? En A. Ibarra, J. Castro, J. Barrenechea (Eds.), La evaluación de la actividad científica en Ciencias Sociales y Humanidades (pp. 31-52). Bilbao: Servicio Editorial de la UPV/EHU.
Ruíz-Pérez, R., Delgado-López-Cózar, E., & Jiménez-Contreras, E. (2010). Principios y criterios utilizados en España por la Comisión Nacional Evaluadora de la Actividad Investigadora (CNEAI) para la valoración de las publicaciones científicas: 1989-2009. Psicothema, 22(4), 898-908.
Ruíz-Pérez, R., Martín-Martín, M., & Delgado-López-Cózar, E. (2015). Las revistas universitarias en el marco de los criterios de evaluación de la actividad investigadora en España. Revista Española de Documentación Científica, 38(2). http://dx.doi.org/10.3989/redc.2015.2.1191
Soriano, J. (2008). El efecto ANECA. En Actas y memoria final. Congreso internacional fundacional AE-IC (pp.1-18). Santiago de Compostela: Asociación Española de Investigación de la Comunicación.
Torres-Salinas, D., Bordons, M., Giménez-Toledo, E., Delgado-López-Cózar, E., Jiménez- Contreras, E., & Sanz-Casado, E. (2010). Clasificación integrada de revistas científicas (CIRC): propuesta de categorización de las revistas de ciencias sociales y humanas. El profesional de la información, 19(6), 675-683. http://dx.doi.org/10.3145/epi.2010.nov.15
Zych, I., & Buela-Casal, G. (2012). What do the scientists think about the impact factor? Scientometrics, 92(2), 281-292.
The articles and scientific documents published in RIE abide the following conditions:
1. The Servicio de Publicaciones de la Universidad de Murcia (the publisher) has the property rights (copyright) of all the documents published and allows the reuse under the user’s license indicated in point 2.
2. All documents are published in the digital edition of RIE under a Creative Commons Reconocimiento-NoComercial-SinObraDerivada 3.0 España (legal document) license. These documents can be copied, used, distributed, communicated and explained publicly if: i) the author(s) and its original source of publishing (magazine, publisher and URL of the document) are cited; ii) it is not used for commercial purpose; iii) the existence and the specifications about this license are mentioned.
3. Auto-archive’s conditions. The authors are allowed and encouraged to digitally distribute the pre-print versions (a version before evaluation) and/or post-print (a version that it is already evaluated and accepted to its publication). This promotes circulation and distribution earlier and can increase the citations and significance within the academic community.
