Resulta un gran desafío encontrar una vía que le otorgue un valor real a las publicaciones científicas desde su impacto y calidad. Esta realidad exige el uso de indicadores bibliométricos y más reciente, algunos alternativos para la evaluación, tanto de los autores como de sus publicaciones. En este sentido se realiza un estudio de ambos sistemas de indicadores y sus metodologías, desde el análisis de debilidades y potencialidades para su integración en un único índice, de modo que permita una evaluación más integral y justa de su impacto en la comunidad científica. Se indagó además sobre la importancia, necesidad y nivel de información que se posee sobre este tema en profesores cubanos de varias universidades, durante el período 2018-2019. El objetivo del presente trabajo es argumentar algunas ideas para el acercamiento gradual del Sistema de Evaluación y Acreditación de la Educación Superior de la República de Cuba (SEAES) a estos indicadores, teniendo en cuenta el nivel de atención que reciben por bases de datos reconocidas globalmente. Los resultados son parte del proyecto de investigación El impacto social de la formación continua como parte de los procesos de mejora de la calidad en la Universidad de Camagüey.
It is a great challenge to find a way that gives real value to scientific publications based on their impact and quality. This reality has required the use of bibliometric indicators and more recent some alternative ones for the evaluation of both the authors and their publications. In this sense, an analysis of both systems of indicators and their methodologies is carried out, from the analysis of weaknesses and potentialities for their integration in an only index, so that it allows a more comprehensive evaluation. and just about its impact on the scientific community. It also inquired about the importance, need and level of information that is possessed on this subject in Cuban university professors from various universities, during the period 2018-2019. The objective of the present work is to argue some ideas are proposed for the gradual approach of SEAES to these indicators, taking into account the level of attention they receive through globally recognized databases. The exposed results are part of the research project The social impact of continuous training as part of the quality improvement processes at the University of Camagüey.
- indicadores bibliométricos;
- métricas alternativas;
- calidad;
- valuación, universidad.
- bibliometric indicators;
- altmetrics;
- quality;
- evaluation;
- university.
INTRODUCCIÓN
La producción científica, su acceso y difusión e impacto son compromisos emergentes que la comunidad universitaria global debe enfrentar de cara al futuro. Colaborar para el conocimiento y compartirlo se torna en uno de los retos claves de la universidad actual. Sin embargo, hoy la producción científica universitaria transciende las fronteras de la difusión, visibilidad y legitimación del conocimiento al resultar un atributo esencial para la evaluación de la calidad y acreditación de las Instituciones de la Educación Superior (IES).
En este sentido, una universidad eleva su reputación tanto a nivel nacional, regional o global, basada entre otros aspectos en el número de publicaciones y citaciones recibidas por sus académicos a lo largo de un periodo. Desafortunadamente, este hecho se ha convertido en el eje principal que moviliza a la inmensa mayoría de los investigadores y docentes de las IES, dado que de esta forma se cuantifica y cualifica en buena medida su rendimiento desde la ciencia.
Como consecuencia se añade cierta tensión a partir del surgimiento, desde el primer lustro de este siglo, de una serie de rankings mundiales universitarios con el encargo de ordenar de forma descendente las universidades en el mundo y con el propósito fundamental de comparar la calidad educativa y, en cierta medida, determinar el prestigio académico de las IES.
Las metodologías seguidas por estos listados de clasificación académica de universidades revelan la multiplicidad de indicadores de calidad provenientes en lo principal de los productos de investigación utilizados para determinar su ordenamiento. Esto los convierte en un poderoso instrumento de influencia y promoción de los intereses competitivos de las universidades y sus países. Se establece como una herramienta para la toma de decisiones de todos los actores universitarios, debido a la fácil comprensión y accesibilidad que ofrecen en medio de un sistema de educación superior globalizado.
En tanto, uno de los indicadores de referencia que más atención procura en estos rankings es la producción científica y su impacto,1 con una alta ponderación en casi todos ya que se encuentra con regularidad como criterio evaluativo. Sin embargo, su gran inconveniente está en que resulta complejo evaluar la calidad de la producción científica de investigadores y docentes de manera objetiva y justa si se utiliza de manera exclusiva ciertos criterios relacionados más con la divulgación o visualización que con las posibilidades resolutivas que sus resultados pudieran ofrecer.
Por tanto, el enorme desafío de encontrar un camino que le otorgue un valor real a las publicaciones a partir de su implicación directa o indirecta en la solución de problemáticas sociales y científicas que le permita trascender más allá de una que otra mención resulta un reto en la búsqueda de una herramienta eficaz para su adecuada evaluación.
Este fenómeno, relativamente nuevo, causa un especial interés ya que se ha instaurado como un símbolo de competitividad académica a nivel global, de hecho, algunos se hacen públicos por prestigiosas bases de datos. Es por ello que, la alineación con estas prácticas comunes se presenta como una oportunidad para aquellos que aspiren a una reputación regional y mundial.
Esta realidad obliga a las IES cubanas a la aproximación paulatina a tales condiciones, en conformidad con las prioridades y posibilidades del país, de modo que permita promover y fortalecer la estandarización de los procesos de evaluación y acreditación, algo que no está lejos de sus objetivos. Aunque persisten algunas limitaciones al respecto, la que más resalta es la falta de indicadores dentro del Sistema de Evaluación y Acreditación de la Educación Superior de la República de Cuba (SEAES) que considere evaluar no solo el volumen de publicaciones por académico sino otros relacionados con la calidad o impacto de las investigaciones producidas.
Esto puede parecer engorroso, pero se logrará avanzar en la medida en que se dispongan
[…] políticas institucionales, que se orienten no solo a la definición de estrategias que potencien el desarrollo de la investigación y la innovación, sino también hacia el control y monitoreo de la productividad de sus investigadores, sus relaciones de colaboración, intercambio de conocimientos etc.; además del impacto generado en la comunidad científica.2)
Colocar estas ideas en la mirada institucional debe ser sobre la base de considerar además, las tendencias a nivel internacional que se generan desde las redes sociales y académicas las publicaciones propias, respecto al valor editorial y al vínculo social y científico, al tiempo de que se advierte la necesidad de desarrollar una cultura de la acreditación del conocimiento producido y divulgado en el docente universitario a pesar de las incertidumbres y controversias que aún concurren en torno a estos temas.
Aunque pudiese existir cierto escepticismo sobre si los medios sociales proporcionan o no indicadores de impacto de la investigación, no es menos cierta la influencia inmediata que ejercen estos desde el mismo momento de la publicación lo cual se constata a partir de las veces que se ha visualizado, descargado, compartido y twitteado, sin dejar de reconocer que un alto número de menciones no es significativo para aseverar la calidad de la investigación.3,4
En tal sentido, la pretensión principal de este trabajo es analizar las metodologías propuestas para la medición del impacto y calidad de las publicaciones científicas y de sus autores, basadas tanto en indicadores bibliométricos como alternativos, exponiéndose sus potencialidades e inconsistencias, así como la necesidad y posibilidad de integración de ambos sistemas desde una adecuada ponderación y complementariedad, de modo que permita una evaluación más integral y justa.
DESARROLLO
Desde que a finales de la década del 70 del pasado siglo E. Garfield 5) propuso medir el índice o factor de impacto de las revistas científicas mediante el cociente entre el número de citas que recibe una revista en un año concreto respecto al número de artículos publicados en la misma durante los dos años previos, marcaría el inicio de una larga carrera de lo que iba a devenir contemporáneamente. En los últimos 15 años se han establecido y extendido varios índices similares con el propósito principal de medir los impactos, o más bien el reconocimiento de su utilidad por otros, a nivel de autores y sus publicaciones.
La forma más aceptada como medida de comparación, aunque no la ideal hasta el momento, son los índices de citación recibidas por publicación. Como resultado, se han propuesto variantes de estos y utilizados de manera especial para medir el impacto de las publicaciones mediante disímiles procedimientos. El método seguido, aunque cuestionado, ha provocado la proliferación de un sinnúmero de ellos relacionados con el número de citas recibidas por artículo publicado, así como la aparición de un interés especial por conceptos propios de las disciplinas métricas de la información, en particular de la informetría y más recientemente la altmetría.
Pese a detractores, estos índices se reconocen por su validez para establecer las mediciones, tanto de artículos como de sus autores. Son una de las herramientas más manejadas y mejoradas en la evaluación de los resultados e impacto de la producción científica. Uno de los primeros y de los más aprovechados, en todas sus variantes, fue el ideado por Jorge Hirsch,6) de la Universidad de California, en el año 2005. Conocido como índice H o de Hirsch se define por el número de artículos H que acumulen un número de citas mayor o igual a H. Este índice se ha convertido en el producto estrella de bases de datos como Scopus, Web of Science o la de acceso abierto Google Scholar Metrics.
A pesar de sus limitaciones,7 han sido utilizados como herramienta dominadora en el mercado profesional lo cual se evidencia en la marcada presión que ejercen sobre la probabilidad de aceptación de los solicitantes, para un puesto en una institución académica o de investigación, a partir de su comparación y dada la influencia directa que tienen en la ubicación y prestigio de tales instituciones en determinado ranking.
Sin embargo, resulta llamativo el hecho de que los autores más fecundos, en cuanto a publicaciones y citas recibidas, pueden compartir igual índice H con otros menos prolíferos, lo que pudiera aparecer como otras de sus debilidades. A modo de ejemplo, se ofrece la siguiente tabla en la cual se refleja un grupo de autores con igual índice H=6, pero que difieren en cuanto al total de citas recibidas por artículos. (Tabla 1)
Como consecuencia se ha intentado mejorar otros parámetros como el tiempo de vida del artículo y el número de citas acumulativas. De esta manera se han propuesto variantes como el índice H5, i y el i5.
El H5 computa los artículos publicados en los últimos cinco años, para así referir un período que permita comparar trayectorias investigativas en igualdad de condiciones. Ello evita los cotejos desiguales que permite el índice H absoluto al no tener en cuenta los años de publicación y así compensar los resultados científicos de los investigadores noveles con los establecidos y de mayor experiencia.
Otra variante propuesta es el índice i que se define por el número de publicaciones con más de 10 citas de un autor o una publicación. Este intenta corregir el defecto acumulativo evidenciado en el H dado que solo considera aquellos artículos con más de 10 citas recibidas, es posible que existan autores con un alto H y un bajo i, al igual que es muy probable que dos autores posean igual H y diferente i o viceversa.
De la combinación de estos dos índices surge el i5 para aquellos trabajos con más de 10 citas en los últimos cinco años. Este permite establecer una comparación mucho más justa al intentar erradicar algunas de las principales debilidades de H. No obstante, muchas veces se publican varios de estos a la vez, con el propósito de ampliar la valoración para la toma de decisiones. (Tabla 2)
Año | Artículos (ordenados de manera descendente según el número de citas recibidas) | Citas recibidas por artículo |
---|---|---|
2011 | 1 | 124 |
2012 | 2 | 83 |
2013 | 3 | 65 |
4 | 31 | |
2014 | 5 | 17 |
2015 | 6 | 11 |
2016 | 7 | 6 |
2017 | 8 | 3 |
2018 | 9 | 1 |
Total de citas recibidas | 341 |
Fuente: Elaboración propia
Se advierte en la tabla que este autor tiene índice H=6, porque tiene solo 6 artículos con 6 o más citaciones, índice H5=3 por tener 3 artículos que cumplen con la condición de H en los últimos 5 años, índice i=6 dado que 6 artículos sobrepasan las 10 citas e índice i5=2 ya que solo 2 del total de artículos cumple con la condición de i en los últimos 5 años.
A pesar de los esfuerzos por perfeccionar el índice H no cesan las críticas,7,8,9 lo que suscita el surgimiento de otras alternativas como: el índice G, índice R, índice A; entre otros. Esta realidad ha implicado el surgimiento de ciertas anomalías en el campo de la ciencia dadas las repercusiones de tal diversidad y su uso en la evaluación científica.
Para obtener el índice G10 de un autor se ordenan todos sus artículos de manera descendente, según el número de citas recibidas por estos, se lleva a cabo la sumatoria acumulativa y finalmente se confronta el número de orden cuyo valor acumulativo de citas recibidas por el autor fuera mayor o igual al cuadrado del número de orden. Significa que un autor con índice G igual a 13 ha escrito como mínimo 13 artículos cuya suma de citaciones es al menos de 169, o sea, el cuadrado de 13. (Tabla 3)
Este índice de citaciones combina dos aspectos importantes: el número de artículos publicados, incorporado como algo influyente de manera directa y el número de citas acumuladas por los mismos. Cabe señalar que su principal debilidad radica en la posibilidad de poseer pocos artículos con un alto número de citaciones y viceversa, sin embargo, por el efecto acumulativo resulta en un índice mayor.
Con los índices R y A11 se intenta atenuar algunas de las deficiencias mencionadas del H. Estos se determinan con el cálculo de la raíz cuadrada de la sumatoria de citas recibidas de los artículos comprendidos en el núcleo H y dividiendo el total de citas en el núcleo H(TCnH) entre Índice H, respectivamente. En el ejemplo de la tabla 3 la sumatoria de las citas recibidas por el núcleo H es 148 dando lugar a un índice R igual 12 por aproximación mientras que su índice A sería 25.
El primer caso denota que dos autores pueden tener diferentes índices H e igual índice R y viceversa, por tanto, esto evidencia la poca fiabilidad que puede ofrecer en el momento de establecer una comparación. En ambos casos, estos índices conceden mayores beneficios a aquellos autores que posean un mayor H (TCnH).
De modo que, los índices bibliométricos analizados permiten comparar, más que los impactos de los resultados científicos publicados, su utilización por parte de la comunidad académica y científica. Se avizora aún en ellos ciertas debilidades como la no ponderación, equilibrio y correlación entre sus variables y cómputos.
Los nuevos indicadores altmétricos
Con el inicio de la web 2.0, al diversificarse las plataformas y aplicaciones que permiten que sus usuarios se tornan entes más interactivos y transformadores de la información que intercambian, se establecen nuevos indicadores conocidos como alternativos o altmetrics (métricas alternativas). Fueron propuestos por Priem, Taraborelli, Groth, Neylon3 hace ya una década, con el propósito de medir el impacto de los resultados de la investigación científica.
La principal novedad de estos indicadores y a su vez, la que encierra mayor complejidad, radica en las fuentes que utiliza para la medición. Estas se relacionan con las diferentes plataformas y redes sociales generales y académicas12 tales como: Twitter, Facebook, Google+, Academia.edu, Research Gate y otros medios como Blogs, enciclopedias y sistemas de promoción de noticias. Si bien estas resaltan por su alto grado de subjetividad no dejan de ser en sí una alternativa complementaria de las tradicionalmente establecidas, como los analizados con anterioridad.
Los indicadores más utilizados y recurrentes por altmetrics son el número de descargas, lecturas, comentarios, recomendaciones, clics, compartidos, menciones, reacciones, citas en blogs y enciclopedias, entre otros. Desde la complejidad que pudiera encerrar el computo de los datos que se generan por estas fuentes, se han establecido herramientas para registrar y ofrecer los resultados de las mediciones que de estos se realizan.
Existen varias de ellas disponibles online dentro de las que destacan PlumX perteneciente de la editorial Elsevier y utilizada por la base de datos Scopus. Esta tiene en cuenta cinco métricas relacionadas con la utilización e interés que suscitan las publicaciones, menciones, impacto en redes sociales, así como el índice de citaciones tradicionales.
Otra no menos utilizada es la homónima Altmetrics la cual muestra datos del artículo en forma de donut de colores, cada uno identificado con el indicador a medir, que brindan una puntuación sobre el grado de atención recibido. También se presentan otras más específicas para medir impactos de libros y capítulos de estos, incluidos en la base de datos SpringerLink, tal es el caso de Bookmetrix. Esta última muestra además el número de citas, los datos de uso, menciones en redes sociales, así como el número de usuarios que lo guardan en el gestor bibliográfico Mendeley.
Si bien estas métricas pueden resultar en cierto grado más atractivas e interesantes que las más tradicionales, el hecho se debe a las bondades13,14,15) que ofrecen al:
Mostrar datos de una mayor diversidad de documentos y formatos menos tradicionales.
Medir, además del impacto académico y científico, otros impactos como el social, medioambiental, económico, cultural.
Mostrar el impacto en tiempo real, a partir de ofrecer información desde el mismo momento que se publica, el articulo o resultado investigativo, e incluso antes.
Mostrar la atención recibida por una obra más allá de las citas.
Medir el impacto a partir de la información ofrecida por múltiples fuentes.
Aunque no dejan de ser también cuestionadas12,13,14 por:
La falta de consistencia y normalización entre los datos y sitios utilizados para la medición.
La poca correlación entre la mayoría de los indicadores de impacto social respecto a los de impacto académico de una publicación.
Además de otras amenazas como la posibilidad de sesgo por la curiosidad que pueden provocar algunos títulos de ciertos trabajos científicos en los lectores, los factores fortuitos o de compromisos poco éticos que disienten con la verdadera utilidad e importancia que el mismo pudiera presentar, motivos que pudieran ser suficientes para no establecerlos como una herramienta complementaria. No obstante, a favor se plantea la idea de la inteligencia colectiva16) que propone que un gran número de personas corrientes a veces son mejores para resolver problemas que los expertos, de modo que ya no se ve como una simple curiosidad.
Otro punto que ayudaría al acercamiento de estos indicadores está en buscar minimizar las brechas entre los menos favorecidos y una élite selecta de trabajos publicados en fuentes de un alto impacto, establecido desde un acceso abierto sin lo cual el impacto social, académico y científico se vería afectado. Es evidente que no se trata solo de democratizar la ciencia dando una mayor participación a sus actores, sino más bien evaluar su impacto desde una forma más justa y equitativa cuidando, tal como dice Taraborelli,17 no se convierta en una revisión ligera que solo refleje la aceptación de los trabajos por la comunidad científica.
Más bien se busca un equilibrio entre los indicadores métricos tradicionales y los alternativos, cuya naturaleza puede complementar la evaluación de un trabajo. Este dilema pudiera solucionarse mediante la ponderación de los indicadores a partir de la influencia y valor que cada uno ejerce y posee de manera diferenciada desde una perspectiva que permita integrar los resultados en un único valor o índice. Aunque para muchos exista una baja correlación estadística,12 manifiestas en las diferencias entre las fuentes de las que se nutren y las metodologías seguidas para el computo de sus datos, se advierten potencialidades para la complementariedad entre ambas.
Claro está, sin dejar de considerar las posibles incongruencias que la utilización de determinadas herramientas estadísticas16 introducen y que pudieran hacer dudar de estos resultados, se debe estudiar las potencialidades que puede tener una simbiosis o asociación entre ellas, sobre la base de la influencia mutua que se ejercen y a las posibilidades recursivas que estos índices aparentan brindar desde una predictiva mutua.
De modo que, la finalidad, tal como lo plantean de Melo y Lopes,18 no es sustituir una por la otra, sino más bien encontrar la vía para su combinación a pesar de las diferencias que existen entre las características básicas de ambas.12 Todas estas cuestiones son susceptibles de superar, y de esta forma los altmetrics pueden contribuir a la complementación de los indicadores bibliométricos tradicionales ya establecidos, y a la vez condicionar el avance en la búsqueda de un equilibrio entre lo convencional y menos convencional para la evaluación de los resultados de la ciencia y sus actores en general.
Paralelamente se han desarrollado algunas aplicaciones online que permiten gestionar, por parte de los autores, el aumento de la visibilidad e impacto académico y social de sus publicaciones a través de la tramitación de su currículum. Con esta finalidad surgió Kudos, que facilita compartir los resultados científicos, lo que redunda en mayores probabilidades de mejora de sus altmétricas. Otra variante muy sugerente es ImpactStory que funciona como un proveedor de altmétricas que facilita la divulgación y medición del impacto de los resultados de los investigadores a partir de la creación de un perfil en el que se añaden sus publicaciones.
Sus mayores ventajas es que sus contenidos son de acceso abierto lo que proporciona mayor promoción y accesibilidad, de modo que, “Cualquier autor se ha convertido en potencialmente hipervisible, constructor de su reputación virtual, curador de los contenidos que genera y regulador de tráfico hacia ellos o hacia los colegas”.4
Indicadores altmétricos como bases de una ciencia compartida en las universidades
Las altmétricas más que considerarse un valor añadido para las publicaciones y clasificaciones de revistas científicas han comenzado a sentar las bases de la llamada ciencia 2.0.19 La aplicación de las tecnologías de la web social al proceso de investigación es actualmente una realidad irreversible. De modo que, aparecen nuevas formas de establecer la ciencia desde la perspectiva participativa y relacional de los investigadores, basada en los intereses científicos comunes que se comparten.
De esta manera, se vaticina la inserción de nuevos indicadores en la evaluación de la actividad científica desde un gradual acercamiento y alineación con las tendencias globales más tradicionales. Asimismo, los comités de revisión de la información complementaria sobre la investigación de las universidades y sus efectos sociales o interdisciplinares, lo están considerando como herramienta para la concesión y dotación de financiación de proyectos de investigación.13
Por tanto, urge un cambio de pensamiento y aprendizaje de toda la comunidad universitaria que movilice la acción académica hacia el logro de objetivos institucionales que contemplen los tres grandes bloques de la ciencia 2.0: compartir la investigación, compartir los recursos y compartir los resultado,19 que a su vez permita cerrar el ciclo de todo el trabajo que en materia de ciencia se realiza, pues se trata de comenzar a explotar los recursos que como novedad se utilizan y que en un futuro no muy lejano se vislumbran como fuente de evaluación de las IES a nivel internacional.
Sin embargo, en una indagación reciente sobre el estado de esta problemática en Cuba, afloró como principal preocupación el poco conocimiento e información, sumado el desinterés respecto a este tema en una buena parte de los académicos encuestados de varias universidades del país durante el curso 2018-2019. La principal razón es la poca o ninguna intervención de estos indicadores en su vida profesional a partir del marco en el que se desempeñan. Todo ello ha traído como consecuencia un escaso protagonismo que incluye desestimación, impericia e indiferencia acerca de la importancia que estos indicadores poseen, tanto para ellos como para las instituciones a las que pertenecen.
Las variantes para su establecimiento e implementación deben ser estudiadas, pero todas las propuestas que se encaucen en este sentido deben estar imbricadas al SEAES. Este establece un sistema de variables, indicadores y criterios de evaluación, utilizan diversas fuentes de información que favorecen la objetividad de los juicios de valor emitidos por los expertos evaluadores. No obstante, se necesitaría de cierta actualización en indicadores relacionados con los resultados investigativos teniendo en cuenta estas métricas, en la medida de lo posible.
Por tanto, se propone el trazado de estrategias enfocadas primero que todo en la capacitación de los profesionales e investigadores sobre las potencialidades que las tecnologías de la web social ofrecen para compartir el desarrollo de una investigación. En ello, uno de los principales aspectos es la preparación para el dominio de las herramientas que puede emplear tanto desde un punto de vista metodológico para la difusión y monitoreo como del registro de la utilidad, influencia e interés que va teniendo de sus resultados investigativos con base en la llamada ciencia compartida.
CONCLUSIONES
Los indicadores bibliométricos y altmétricos más que evaluar el impacto y calidad de las publicaciones científicas expresan medidas cuantitativas y cualitativas sobre el uso, atención y consumo de estas por parte de la comunidad científica y general.
Las métricas de un artículo científico deben obtenerse mediante la utilización de ambos sistemas de indicadores, el intentar el reemplazo de unos por otros se excluyen las potencialidades que una simbiosis ofrecería en la búsqueda de una metodología para la complementación mutua y evaluación justa desde la ponderación estadística.
Las novedades que brindan las altmétricas, vinculadas a las tradicionales bibliométricas, son potencialmente favorables para comenzar a valorarse por el sistema de evaluación de las universidades cubanas, si se tienen en cuenta que ya se utilizan sus resultados por bases de datos reconocidas a nivel global.
-
Álvarez Yero JC, Barrios Ríos I, Martínez Escoda EC. Análisis comparativo de variables e indicadores empleados para evaluar calidad en las universidades. Hum Med [Internet]. 2019 [citado 15/5/2020]; 19(2):403-422. Disponible en: Disponible en: http://humanidadesmedicas.sld.cu/index.php/hm/article/view/1489/html_100
-
Acosta Núñez NM, Díaz Pérez M. Conocimientos de profesores universitarios cubanos sobre productividad científica individual e indicadores de ciencia y técnica. 2016. Congreso internacional INFO [Internet] 2016. marzo 5-9; La Habana, Cuba: Palacio de las Convenciones [citado 12/4/2020]. Disponible en: Disponible en: http://www.congreso-info.cu/index.php/info/2016/paper/viewFile/56/305
-
Priem J, Taraborelli D, Groth P, Neylon C. Altmetrics: a manifesto. London: Altmetric.org [Internet]: 2010 [citado 12/6/2020]. Disponible en: Disponible en: http://altmetrics.org/manifesto/
-
Alonso Arévalo J, Vázquez-Vázquez M. ¿Qué es y qué implicaciones tiene altmetrics? Desiderata [Internet]. 2016 [citado 18/5/2020]; 1(2):23-25. Disponible en: Disponible en: https://gredos.usal.es/handle/10366/127898
-
Garfield E. Índices de citas para la ciencia: Una nueva dimensión en la documentación a través de la asociación de ideas. Science [Internet]. 1955 [citado 15/5/2020]; 122(3159): 108-111. Disponible en: Disponible en: http://www.garfield.library.upenn.edu/papers/science_v122v3159p108y1955.html
-
Hirsch J. An index to quantify an individual’s scientific research output. PNAS [Internet]: 2005 [citado 15/5/2020]; 102(46), 16569-16572. Disponible en: Disponible en: https://doi.org/10.1073/pnas.0507655102
-
Páez Rovira D, Salgado Velo JF. Indicadores de productividad científica. Implicaciones para la evaluación de la psicología española. Boletín de Psicología[Internet]: 2009 [citado 25/5/2020]; 97, 117-136. Disponible en: Disponible en: http://www.produ-science.udl.cat/psycho/public/p_3.pdf
-
Costas R, Bordons M. The h-index: Advantages, limitations and its relation with other bibliometric indicators at the micro level. Journal of Informetrics [Internet]: 2007 [citado 10/5/2020]; 1(3): 193-203. Disponible en: Disponible en: https://doi.org/10.1016/j.joi.2007.02.001
-
Silva Ayçaguer LC. El índice-H y Google Académico: una simbiosis cienciométrica inclusiva. ACIMED [Internet]: 2012 [citado 2/3/2020]; 23(3): 308-322. Disponible en: http://www.rcics.sld.cu/index.php/acimed/rt/printerFriendly/384/243
-
Egghe L. teoría y práctica el índice g. Scientometrics [Internet]: 2006 [citado 2/3/2020]; 69(1): 131-152. Disponible en: Disponible en: https://doi.org/10.1007/s11192-006-0144-7
-
Jin B, Liang L, Rousseau R, Egghe L. Los índices R y AR: complementan el índice h. Chinese Sci Bull [Internet]: 2007 [citado 12/7/2020]; 52: 855-863. Disponible en: Disponible en: https://doi.org/10.1007/s11434-007-0145-9
-
Torres Salinas D, Cabezas Clavijo A, Jiménez Contreras E. Altmetrics: nuevos indicadores para la comunicación científica en la Web 2.0. Comunicar [Internet]: 2013 [citado 12/6/2020]; 2(41). Disponible en: Disponible en: http://dx.doi.org/10.3916/C41-2013-05
-
Alonso Arévalo J, Cordón Garcia JA, Maltrás Barba B. Altmetrics: medición de la influencia de los medios en el impacto social de la investigación. Cuadernos de Documentación Multimedia [Internet]: 2016 [citado 23/6/2020]; 27(1). Disponible en: Disponible en: http://dx.doi.org/10.5209/rev_CDMU.2016.v27.n1.52870
-
Guía de la BUS [Internet]. Sevilla: BUS; 2016 [citado 25/9/2020]. Altmetrics, las otras métricas. Disponible en: Disponible en: https://guiasbus.us.es/altmetrics
-
Peralta González MJ, Frías Guzmán M, Gregorio ChavianoII O. Criterios, clasificaciones y tendencias de los indicadores bibliométricos en la evaluación de la ciencia. Rev. cuba. inf. cienc. Salud [Internet]: 2015 [citado 7/9/2020]; 26(3). Disponible en Disponible en http://scielo.sld.cu/pdf/ics/v26n3/rci09315.pdf
-
Barnes C. The Use of Altmetrics as a Tool for Measuring Research Impact. Australian Academic & Research Libraries [Internet]: 2015 [citado 13/9/2020]; 46(2): 121-134 Disponible en: Disponible en: http://dx.doi.org/10.1080/00048623.2014.1003174
-
Taraborelli D. Soft Peer Review: Social Software and Distributed Scientific Evaluation. 2008. Proceedings of the 8th International Conference on the Design of Cooperative Systems [Internet] 2008. mayo 20-23. Francia: Carry-Le-Rouet, [citado 12/4/2020]. Disponible en: Disponible en: https://discovery.ucl.ac.uk/id/eprint/8279/
-
de Melo Maricato J, Lopes Martins D. Altmetria: complexidades, desafios e novas formas de mensuração e compreensão da comunicação científica na web social. Biblios [Internet]: 2017 [citado 18/9/2020]; 48: 58-67 Disponible en: Disponible en: http://biblios.pitt.edu/ . DOI 10.5195/biblios.2017.358
-
REBIUN [Internet]. Madrid: REBIUN; 2011 [citado 25/9/2020]. Ciencia 2.0: aplicación de la web social a la investigación. Disponible en: Disponible en: http://www.rebiun.org
- » Recibido: 29/10/2020
- » Aceptado: 22/06/2021
- » Publicado : 28/08/2021