• Inicio
• Acerca de
• Números anteriores
• Noticias
• Estadísticas
• en SciELO

ARTÍCULO

Proceso de evaluación de las publicaciones científicas seriadas a través de indicadores

The evaluation process of serialized scientific publications through the use of indicators

María Elena Macías Llanes,^I Marcos Enrique Rivero Macías,^II Jorge Luis Cabrera Cruz^III

I. Doctora en Ciencias de la Educación. Directora de Humanidades Médicas. Centro de Desarrollo de las Ciencias Sociales y Humanísticas en Salud (Cendecsa). Universidad de Ciencias Médicas de Camagüey. Carretera Central Oeste Km 4½, Camagüey, Cuba, CP. 70 700. memacias@finlay.cmw.sld.cu
II. Ingeniero Informático. Equipo Editorial de la revista Retos de la Dirección. Universidad de Camagüey "Ignacio Agramonte y Loynaz,"Centro de Estudios de Dirección Empresarial y Territorial (CEDET). Circunvalación Norte Km 4½, Camagüey, Cuba, 70600. marcos.rivero@reduc.edu.cu
III. Máster en Ciencias de la Educación. Licenciado en Educación. Profesor Auxiliar. Investigador Agregado. Universidad de Ciencias Médicas "Carlos J. Finlay". Centro de Desarrollo de las Ciencias Sociales y Humanísticas en Salud (CENDECSA). Carretera Central Oeste Km 4½, Camagüey, Cuba. C.P. 70100. jcabrera@finlay.cmw.sld.cu

RESUMEN

La bibliografía reporta amplitud en lo concerniente al campo de la edición de revistas científicas donde los avances científico tecnológicos aportaron una nueva dinámica. Las nuevas tecnologías de la información y la comunicación sirven de herramientas y han transformado radicalmente el escenario de la evaluación de la publicación científica. Variedad de perspectivas, instrumentos e indicadores impactan en los procesos de evaluación. El objetivo de este trabajo es ofrecer una valoración del proceso actual de evaluación de las publicaciones científicas seriadas. Los procedimientos utilizados son la revisión bibliográfica, análisis de textos y síntesis de los hallazgos desde lo teórico. Se concluye que la publicación científica seriada ha pasado a ser, más que un proceso singular de la comunicación científica, el modo fundamental de evaluación de la calidad del trabajo científico, de ahí la importancia de tener claridad y propuestas propias de los indicadores de la evaluación.

Palabras clave: publicación científica seriada, evaluación de la publicación científica, indicadores para la evaluación de la publicación científica.

ABSTRACT

There is amplitude in bibliography, regarding the edition of scientific journals, where the scientific technological achievements that have been made in recent times have contributed with a new dynamic. The edition in digital format has its name due to the appearance of the new information and communication technologies. The recently emerged perspectives, instruments and indicators impact evaluation of publications processes and the accreditation in the higher education. The aim of this document is to offer an assessment on the current situation of the evaluation process of serialized scientific publications through the use of indicators. The text analysis and bibliographic review procedures were used to achieve the previous goal. In conclusion, the serialized scientific publications have become the main way quality of scientific research evaluation rather than a specific process of scientific communication. That is why is important to be certain of the combination of indicators for evaluating the scientific publications.

Keywords: serialized scientific publications, evaluation of scientific publication, indicators for the evaluation of the scientific publication.

INTRODUCCIÓN

En la bibliografía internacional y nacional se reporta amplitud y variedad en lo concerniente al campo de la edición de revistas científicas donde los avances científico tecnológicos de las últimas décadas aportaron una nueva dinámica a la publicación de este carácter. La edición en formato digital debe su denominación a la aparición de las nuevas tecnologías de la información y la comunicación, que sirven de herramientas, de medio de difusión y a su vez han transformado el escenario de la evaluación de la publicación científica.

Con el surgimiento de la edición en formato digital, la publicación científica tradicional se modificó, surgieron nuevas vías de comunicación de contenidos, formatos, servicios de valor añadido, proyectos cooperativos y roles para los distintos actores que intervienen en torno a las revistas electrónicas.

Aparecieron revistas de nuevo modelo, repositorios, servidores globales de información y otras entidades similares, con diversas funciones en el espectro del proceso editorial.

Entre las ventajas de la publicación digital están: la inmediatez en la divulgación del conocimiento, la llegada a un público más numeroso en menos tiempo, la mejora en el flujo de de comunicación con el autor y los evaluadores, y la reducción de los costos. Por consiguiente, las revistas científicas electrónicas han devenido el medio más apto para difundir los resultados de las investigaciones, lo que facilita la apropiación social del conocimiento.

Se considera que nace un modelo de comunicación científica y los sistemas globales de distribución de la información y las tendencias han estado relacionadas con su ampliación,¹ a la vez que ocupa un lugar esencial la búsqueda de formas de asegurar acceso equitativo a la información, surge así, el movimiento de acceso abierto (Open Access).^2,3

La multiplicación de medios de publicación, revistas científicas, de repositorios e índices ha traído también la preocupación por la validez y responsabilidad de la publicación y los modos de evaluación.⁴

De acuerdo con la política de la Biblioteca Virtual de Salud, se considera publicación periódica a las revistas que cuentan con un Número Internacional Normalizado de Publicaciones Seriadas (ISSN, por sus siglas en inglés) y están actualizadas en el Registro Nacional de Publicaciones Periódicas de la República de Cuba. Las mismas deben dedicar no menos del 70 % de sus páginas a materiales originales arbitrados; es decir, evaluados por pares externos mediante una metodología capaz de garantizar su calidad, novedad y pertinencia.

La Resolución No. 59/2003 del Ministerio de Ciencia, Tecnología y Medio Ambiente (CITMA) de la República de Cuba norma las disposiciones generales y los requisitos para el otorgamiento de la certificación de publicación seriada científico-tecnológica.⁵

En Cuba como en otros países del área es pertinente que se aseguren estrategias para la promoción de los conocimientos que se producen⁶ y resulta de la mayor importancia clarificar lo concerniente a la evaluación de las publicaciones y orientarse adecuadamente en la variedad de indicadores.

El objetivo de este artículo es ofrecer una valoración de la actualidad del proceso de evaluación de las publicaciones científicas seriadas a través de indicadores.

DESARROLLO

Las últimas décadas del siglo XX aportaron una nueva dinámica a la publicación científico-tecnológica. Con la edición en formato digital la publicación científica se modificó de distintas formas, surgieron nuevas vías de comunicación de contenidos, servicios de valor añadido, estándares. Aparecieron revistas de nuevo modelo, repositorios digitales, servidores globales de información, agencias de publicación y otras entidades similares, que transformaron el proceso editorial y el proceso de su evaluación.

Con la publicación científica digital, se ha logrado superar algunas de las limitaciones que dificultaban que las comunidades de investigación de los países en vías de desarrollo, "[...] pudieran participar desde configuraciones más equitativas en la comunicación de la ciencia, donde el mayor protagonismo e impacto de los actores de América Latina y el Caribe depende de la ampliación del perímetro de diseminación de sus producciones a través de plataformas que facilitan su almacenamiento, migración, consulta y descarga."³

Es un hecho el aumento del alcance de la publicación científica que no solo se hace más accesible, sino que facilita el intercambio de conocimientos, la inmediatez y actualización constante de los resultados que se insertan en una red de múltiples valencias. Al tiempo que sus implicaciones se acrecientan para todo tipo de evaluación en la ciencia y para la educación superior en particular.

En la actualidad cubana la publicación científica seriada constituye un indicador para:

• el profesional alcanzar categorías docentes y de investigador.
• el Sistema de Evaluación y Acreditación de carreras universitarias.
• el Sistema de Evaluación y Acreditación de programas de maestría y doctorado.
• indicador de desempeño de las entidades de ciencia e innovación.
• indicador en los procesos de acreditación institucional.
• para la elaboración de rankings de universidades.

La trasformación del proceso de evaluación presenta un dinamismo único y constituye en esencia un cambio radical para la ciencia. El proceso de evaluación de la publicación tiene un doble carácter: se evalúa lo que ha de ser publicado y la publicación científica seriada en sí misma.

Sin embargo, no todo lo que llega a ser publicado alcanza a ser visualizado y utilizado, tampoco es valorado adecuadamente en su significado, aunque es extendido el predominio del uso de los algunos indicadores para evaluar.

"La globalización, impone que los indicadores empleados con ese fin tengan alcance operativo universal. El impacto y la validez de dicha producción se miden para establecer jerarquías de prestigio científico y, por esa vía, pautas orientativas para autores, editores y otros actores sociales...Tal realidad permite comprender fácilmente que las implicaciones propias de un indicador dado desbordan lo meramente operacional y epistemológico; su teleología alcanza una connotación económica, social y, finalmente, política. El análisis de las alternativas que se han sugerido para tal medición, además del examen de sus valores métricos, exige de un enfoque socio-cultural que reconozca el carácter histórico y contextual de las propuestas."⁷

Un criterio predominante para las mediciones de la producción científica se enfoca principalmente en indicadores denominados "indicadores de análisis de citas", como el Factor de Impacto (FI), una herramienta cuantitativa para evaluar y comparar revistas, mediante la medida de frecuencia con la cual los artículos de una revista han sido citados en un año o período. Según su creador, Garfield E., "[...] es una aproximación del grado de prestigio de las revistas que se complementa con otras consideraciones, como la evaluación por pares, la productividad y las tasas de citación de temas especializados."⁸

El factor de impacto de las publicaciones ha estado utilizándose como indicador para medir la producción científica de investigadores y grupos científicos, siendo cuestionado su uso indiscriminado cada vez con mayor frecuencia.^9,10

Según afirman Torres-Salinas y Jiménez-Contreras,¹¹ desde su lanzamiento a comienzos de los años setenta el factor de impacto de Garfield, ha sido un indicador tan criticado como determinante en los procesos de evaluación científica, que permite obtener el índice de impacto publicado por el Journal citation reports (JCR).

Según la Declaración de San Francisco de evaluación de la investigación,¹²el índice de impacto tiene una serie de deficiencias bien documentadas como herramienta para la evaluación de la investigación, algunas de las limitaciones:

a) la distribución de citas está muy sesgada;

b) es una combinación de varios tipos de artículos, incluyendo artículos de investigación primaria y opiniones;

c) los índices de impacto se pueden manipular por la política editorial;

d) los datos utilizados para el cálculo no son ni trasparentes ni están abiertamente a disposición del público.

La declaración de San Francisco establece como una recomendación general no utilizar métricas basadas en revistas, tales como índices de impacto de revistas, como una medida sustitutiva de la calidad de los artículos individuales, con el fin de evaluar las contribuciones de un científico, o en las decisiones de financiación de una investigación.

La Asociación Europea de editores de ciencia (European Association of Science Editors statement) recomienda la exclusión del FI en la evaluación tanto de trabajos, como de investigadores y programas científicos.⁹

^En los últimos años ha aumentado el interés en la evaluación métrica de las revistas científicas. Se trata de nuevas medidas, desarrolladas para evaluar tanto a las obras y sus creadores como a las revistas: Indicadores como el Eigenfactor, el SCImago Journal Rank y el Source normalized impact per paper, complejos desde el punto de vista conceptual y matemático, proponen reducir las limitaciones del FI e introducir nuevos enfoques en la evaluación de las publicaciones seriadas,¹³ además del énfasis en la calidad del arbitraje y en los sistemas de calidad para la gestión editorial.¹⁴

Una de las primeras alternativas al índice de impacto elaborado por el Journal citation reports (JCR) en la oferta de indicadores fue el portal eigenfactor.org, que fue adquirido e incorporado entre los indicadores del JCR en el año 2008. Otra base de datos, Scopus, ha buscado la alternativa al JCR introduciendo el SCImago Journal Rank (SJR), (realizados por el grupo SCImago), y los Normalized impact per paper (SNIP), ejecutados en el CWTS.¹¹ (ver tabla sobre indicadores incorporados en JCR y Scopus).

Tabla 1. Principales indicadores incorporados en el JCR y Scopus.

Elaborado a partir de Torres-Salinas y Jiménez-Contreras¹¹

En los últimos 15 años ha ganado en aceptación no solo para la evaluación de revistas sino también de los investigadores de manera individual, el índice elaborado por Jorge E. Hirsch en el 2005, conocido como índice -H.^7,10

El valor del índice es un número entero que asciende a h si h número de los trabajos publicados han recibido al menos h citas cada uno. Este índice ha sido incluido junto a otras métricas por ejemplo, en el Scimago Institutions Rankings.

Otros autores han realizado propuestas que aparecen más localizadas como las mencionadas por Aleixandre-Benavent, R. y otros,¹⁰ el factor de impacto potencial de las revistas médicas españolas, desarrollado por el grupo Siniac (Sistemas de información e indicadores de actividad científica) del Instituto de Historia de la Ciencia y Documentación López Piñero de Valencia, y el Índice de impacto de las revistas españolas de ciencias sociales (In-Recs), desarrollado por el grupo de investigación EC3 (Evaluación de la ciencia y de la comunicación científica) del departamento de Biblioteconomía y Documentación de la Universidad de Granada.

Los sistemas de evaluación de las publicaciones científicas presentes son parte de la ciencia y se amplía su importancia en los procesos de toma de decisiones en ciencia y tecnología, sin embargo, se debe promover la idea de que la evaluación del trabajo científico sea más coherente con la comprensión social de la ciencia y la complejidad de sus condicionantes, y evitar que no se llegue a conclusiones o juicios a partir de un solo indicador.

"La valoración de la calidad exclusivamente a través del impacto es incorrecta, ya que se puede encontrar ciencia de primera calidad en revistas de escasa difusión o en publicaciones no incluidas en SCI."¹⁰

Las recomendaciones de la declaración de San Francisco para los editores tienen plena vigencia:

1. Reduzca en gran medida el énfasis en la revista del índice de impacto como una herramienta de promoción, idealmente dejando de promover el índice de impacto o mediante la presentación de la métrica en el contexto de una variedad de métricas basadas en revistas (por ejemplo, índice de impacto de 5 años, Eigenfactor, SCImago, índice h, editorial y tiempos de publicación, etc.) que proporcionan una visión más rica del rendimiento de la revista.

2. Ponga a disposición una serie de indicadores a nivel de artículo para fomentar un cambio hacia la evaluación basada en el contenido científico del artículo en lugar de métricas sobre la revista en que fue publicado.

3. Fomente prácticas de autoría responsables y la provisión de información sobre las contribuciones específicas de cada autor.

Por último se puede destacar el denominado manifiesto de Leiden¹⁵ sobre indicadores de investigación, que introduce los siguientes principios:

1. La evaluación cuantitativa tiene que apoyar la valoración cualitativa por expertos.

2. El desempeño debe ser medido de acuerdo con las misiones de investigación de la institución, grupo o investigador.

3. La excelencia en investigación de relevancia local debe ser protegida.

4. Los procesos de recopilación y análisis de datos deben ser abiertos, transparentes y simples.

5. Los datos y análisis deben estar accesibles.

6. Las diferencias en las prácticas de publicación y citación entre campos científicos deben tenerse en cuenta.

7. La evaluación individual de investigadores debe basarse en la valoración cualitativa de su portafolio de investigación.

8. Debe evitarse la concreción improcedente y la falsa precisión.

9. Deben reconocerse los efectos sistémicos de la evaluación y los indicadores.

10. Los indicadores deben ser examinados y actualizados periódicamente.

¿Cómo impacta esta situación sobre la valoración en Cuba de la publicación científica?

En Cuba como en el mundo, la publicación se convierte cada vez en mayor medida instrumento para evaluar la producción científica de la nación, las instituciones y los profesionales individualmente. Continúa siendo el objetivo que se estimula si se quiere obtener prestigio, alcanzar premios y resultados relevantes. En algunas ocasiones el requisito de publicar en revistas de mayor índice de impacto se maneja inadecuadamente y se distorsiona el sentido de lo que se pretende.

En el análisis del estado de la ciencia en Cuba de cara al cumplimiento de los Lineamientos del Sexto Congreso de la política económica y social del Partido Comunista de Cuba y la Revolución¹⁶ se reconoce que las publicaciones científicas reflejan el dominio del estado del arte en cada disciplina y la capacidad para asimilar creativamente el progreso científico técnico, son parte del patrimonio cultural y contribuyen a la visibilidad y prestigio de la nación.

Existen algunos estudios sobre comportamiento e impacto de las investigaciones cubanas en las bases de datos más reconocidas, en determinadas áreas de conocimiento,¹⁷ dan cuenta del interés que se desarrolla por estos temas sobre en las áreas de las ciencias biomédicas y se demuestra en su conjunto el escaso impacto de estas publicaciones con relación a Latinoamérica.

Como demuestran Dorta Contreras y otros, en su estudio sobre el campo de las neurociencias en Cuba,¹⁸ en la repercusión de los trabajos publicados ejerce gran influencia el tema que desarrollan y la cantidad de científicos que trabajan en el mundo en este tema y si, los tópicos tratados se corresponden también con las principales líneas de investigación trazadas por los neurocientíficos a nivel mundial. Subrayan los autores que la tecnología de punta que respalde el trabajo es un elemento que influye sobre la decisión de las revistas con mayor visibilidad.

La mayor parte de las publicaciones científicas seriadas cubanas presentan pequeñas cifras de impacto en cuanto a los índices de análisis de citas, y las estadísticas utilizadas en la red SciELO que agrupa un número importante de las publicaciones indizadas que se producen en el país en el soporte digital, son medidas relacionadas a factor de impacto, en dos o tres años, vida media y número de citas concedidas y recibidas, aún reproducen en lo esencial solamente indicadores elaborados a partir de análisis de citas.

Se deben considerar a las publicaciones científicas seriadas como productos de alto valor agregado, y eso significa colocarlas en el lugar que la construcción de la ciencia actual mundial les otorga. Pero significa también una mirada sobre la concepción de los procesos evaluativos y los indicadores para su uso. No obstante la necesidad de que la ciencia cubana se abra paso en la presentación de resultados científicos en revistas del núcleo central de producción de conocimientos, resulta necesario prestigiar las publicaciones que emergen desde Cuba y proporcionar cambios de mentalidad en cuanto al significado de la publicación científica y su alto valor añadido.

CONCLUSIONES

Como proceso de evaluación de la publicación científica el modo actual de emergencia de indicadores, métricas y rankings constituye una realidad y un desafío para las publicaciones seriadas que se encuentran más alejadas de los considerados "núcleos de producción de conocimientos."

Es necesario comprenderlos en su utilidad, pero también su origen ya que llevan la impronta de condicionantes económicas, políticas y culturales. Resulta cada vez de la mayor importancia propiciar el desarrollo de la cultura en torno a la publicación como instrumento de evaluación del trabajo científico, y alentar el conocimiento y manejo de los indicadores para su medición. Todo ello junto a la emergencia de estudios del proceso de la evaluación en contexto.

REFERENCIAS BIBLIOGRÁFICAS

1. Björk BC. A model of scientific communication as a global distributed information system. Information Research [Internet]. 2007 [citado 2014 Sep 23]; 12(2). Disponible en: http://InformationR.net/ir/12-2/paper307.html

2. Laakso M, Welling P, Bukvova H, Nyman L, Björk B-C, Hedlund T. The Development of Open Access Journal Publishing from 1993 to 2009. PLoS ONE. [Internet]. 2011[citado 2015 Oct 13]; 13;(6). Disponible en: http://www.plosone.org

3. Suber P. Acceso Abierto. Toluca: Universidad Autónoma del Estado de México; 2015. p.266

4. Mendoza S, Paravic T. Origen, clasificación y desafíos de las revistas científicas. Investigación y Postgrado [Internet]. 2006; [citado 2015 Oct 14]; 21 (1). Disponible en: http://www.redalyc.org/articulo.oa?id=65821103

5. Ministerio de Ciencia, Tecnología y Medio Ambiente Resolución No. 59/2003. La Habana: Oficinas de Publicaciones del Consejo de Estado; 2003.

6. Albornoz M. Estrategias para la promoción de las publicaciones científicas argentinas. Acta Bioquím Clín Latinoam. [Internet]. 2006[citado 2015 Oct 14]; 40(2). Disponible en: http://www.redalyc.org/pdf/535/53540212.pdf

7. Silva Ayçaguer LC. El índice H y el Google Académico: una simbiosis cienciométrica inclusiva. Acimed [Internet]. 2012 [citado 20 Mar 2015]; 23(2). Disponible en: http://scielo.sld.cu/scielo.php?script=sci_arttext&pid=S1024-94352011000200001&lng=es

8. Caballero Uribe CV, Cuello M, Lubo A, Martínez D, Marriaga A, Ospino F, Palacio S. El Factor de Impacto (FI) en la evaluación de las revistas biomédicas. Salud Uninorte [Internet]. 2006 [citado 20 Mar 2015];22(2).Disponible en: http://redalyc.uaemex.mx/redalyc/src/inicio/ArtPdfRed.jsp?iCve=81722205

9. Metze K. Bureaucrats, researchers, editors, and the impact factor: a vicious circle that is detrimental to science. Clinics [Internet]. 2010 [citado 20 Mar 2015]; 65(10). Disponible en: http://www.scielo.br/scielo.php?script=sci_arttext&pid=S180759322010001000002&lng=en

10. Aleixandre Benavent R, Valderrama Zurián JC, González Alcaide G. El factor de impacto de las revistas científicas: limitaciones e indicadores alternativos. El profesional de la información. 2007; 16(1): 4-11.

11. Torres Salinas D, Jiménez Contreras E. Introducción y estudio comparativo de los nuevos indicadores de citación sobre revistas científicas. Journal Citation Reports. [Internet]. 2010[citado 2015 Ago 16]; 19 (2). Disponible en: http://eprints.rclis.org/14401/1/g0185821j506k444.pdf

12. Declaración de San Francisco de Evaluación de la Investigación. Rev Cubana Salud Pública [Internet]. 2014 Mar [citado 2015 Ago 16]; 40(1). Disponible en: http://scielo.sld.cu/scielo.php?script=sci_arttext&pid=S0864-34662014000100017&lng=es

13. Cañedo Andalia R, Cruz Font J. Nuevos indicadores métricos para la evaluación de las publicaciones seriadas científicas y académicas. Acimed [Internet]. 2012 [citado 20 Sep 2014]; 23(1). Disponible en: http://scielo.sld.cu/scielo.php?script=sci_arttext&pid=S1024-94352012000100009&lng=es

14. Silva Ayçaguer LC. El arbitraje de las revistas médicas, la gestión editorial en red y la calidad de la publicación científica. Acimed [Internet]. 2011 [citado 20 Sep 2014]; 22(2). Disponible en: http://scielo.sld.cu/scielo.php?script=sci_arttext&pid=S1024-94352011000200001&lng=es

15. Hicks D, Wouters P, Waltman L, de Rijcke S, Rafols I. The Leiden Manifesto for research metrics. Nature. [Internet]. 2015[citado 20 Sep 2014]; 520: 429-431. Disponible en: http://www.ingenio.upv.es/manifiesto

16. Partido Comunista de Cuba. Lineamientos del Sexto Congreso de la política económica y social del Partido Comunista de Cuba y la Revolución. La Habana: Editorial Política; 2011.

17. Cañedo Andalia R, Nodarse Rodríguez M, Cruz Font J, Celorrio Zaragoza I, Parra Linares E. Impacto internacional de la investigación en salud de Cuba según áreas del conocimiento, Scopus, 2009-2013. Corr Med Cient [Internet]. 2015 [citado 2015 Oct 13]; 19(3). Disponible en: http://scieloprueba.sld.cu/scielo.php?script=sci_arttext&pid=S1560-43812015000300024&lng=es

18. Dorta Contreras JA, Arencibia Jorge R, Martí Lahera Y, Araújo Ruiz JA. Indicadores basados en análisis de citas para la caracterización de las neurociencias cubanas. Acimed[Internet]. 2008 [citado 10 Oct 2015]; 18(6). Disponible en: http:www.bvs.sld.cu/revistas/aci/vol18_6_08/aci051208.htm

Recibido: 15/10/2015
Aprobado: 30/11/2015

María Elena Macías Llanes. Doctora en Ciencias de la Educación. Directora de Humanidades Médicas. Centro de Desarrollo de las Ciencias Sociales y Humanísticas en Salud (Cendecsa). Universidad de Ciencias Médicas de Camagüey. Carretera Central Oeste Km 4½, Camagüey, Cuba, CP. 70 700. memacias@finlay.cmw.sld.cu

• Inicio
• Acerca de
• Noticias
• Números anteriores
• Estadísticas
• en SciELO