Avances en Psicología Latinoamericana
ISSN:1794-4724 | eISSN:2145-4515

Una reflexión crítica sobre la cultura de rankings e indicadores

Carlos Eduardo Maldonado, Andrés M. Pérez-Acosta

Una reflexión crítica sobre la cultura de rankings e indicadores

Avances en Psicología Latinoamericana, vol. 36, núm. 3, 2018

Universidad del Rosario

Carlos Eduardo Maldonado *

Universidad El Bosque, Colombia


Andrés M. Pérez-Acosta

Universidad del Rosario, Colombia


Introducción

Sociológicamente hablando, el final del siglo XX conoce el tránsito del capitalismo posindustrial a la sociedad de la información (Castells, 1996). En este cambio, en plena guerra fría, nace la cienciometría —ciencia de segundo orden o, también, medición cuantitativa de la ciencia, prima facie—, con el Manual de Frascati (2012) de la Organización para la Cooperación y el Desarrollo Económicos —OCDE— 1963, con posteriores revisiones y actualizaciones). Al Manual de Frascati le siguieron el Manual de Oslo (1993) y el Manual de Canberra (1997). Para Iberoamérica y América Latina, se crearon posteriormente el Manual de Lisboa, el Manual de Santiago y el Manual de Bogotá.

El capitalismo informacional y la sociedad del conocimiento responden ambas al hecho de que la información en general y el conocimiento han crecido de manera hiperbólica, literalmente. Jamás había habido tantos académicos, científicos, ingenieros e investigadores como en nuestros días. Al crecimiento y expansión de la información y el conocimiento, la cienciometría responde con mediciones de tipo cuantitativo, sencillamente porque por primera vez es posible, es deseable y es necesario medir la ciencia y cómo se hace, al igual que todo su arsenal y expresiones.

Pues bien, en la transición hacia el capitalismo informacional, emergen diversos escalafones, centrados específicamente en la cantidad y la calidad de universidades, luego también de programas, escuelas y facultades, y más recientemente de los propios profesores e investigadores. En general, el espectro de escalafones también se amplía en el plano del conocimiento a los tanques de pensamiento (Think Tanks; Think Tanks Watch, 2016), destacando en todos los casos la importancia que la información y el conocimiento adquieren en las sociedades y en el mundo contemporáneos. La sociedad de la información da lugar luego a la del conocimiento, que es propiamente la de los años 2000, hasta llegar a la actualidad, cuando se habla también de la sociedad de redes.

Tecnológicamente, estas transiciones consisten en el paso de las tecnologías de la información y el conocimiento —TIC— a las tecnologías convergentes: NBIC+S, a saber: la nanotecnología, la biotecnología, las tecnologías de la información, las tecnologías del conocimiento, y la dimensión social de las tecnologías y del conocimiento. Pues bien, justamente en este último sentido se trata del tránsito de la web 2.0 a la 3.0, hasta la discusión en curso acerca de la eventual web 4.0. Dicho de manera puntual, consiste en la importancia de las redes sociales de todo orden y el internet de las cosas (Internet-of-Things IoT—).

Este texto quiere ser una reflexión sobre la primera década del índice H. La tesis que queremos sostener es que este representa la arista más aguda de un fenómeno más general que está transformando la economía mundial, y el orden interno e internacional de las sociedades y los países. Sin embargo, esta transformación no puede en absoluto ser asumida como una cuestión de hecho.

Este estudio se concentra en un aspecto puntual de los procesos mencionados: en el índice H, uno de los indicadores cada vez más importantes en términos de prestigio, reconocimiento y gestión del conocimiento. El editorial se compone de cuatro partes: en la primera, presentamos y discutimos el índice H en una perspectiva multidimensional y cruzada. En la segunda sección discutimos índices cuantitativos alternativos. El tercer parágrafo presenta y discute el debate internacional sobre el índice H y las métricas. Finalmente, la cuarta parte se concentra en las implicaciones del índice H en América Latina, con algún énfasis particular en Colombia.

El índice H: una definición en palabras

Existen diversas clases de indicadores y escalafones en cienciometría. El índice H consiste en una medición de cada autor, y mide al mismo tiempo la productividad y el impacto de cada investigador. Formulada originalmente por Jorge Hirsch en el 2005, arroja luces acerca del impacto de las publicaciones, y permite establecer redes de coautoría, intereses e impacto.

Esta indicación exige hacer explícita una distinción: de un lado, cabe identificar a la comunidad académica, conformada esencialmente por profesores en los distintos escalafones al interior de cada universidad; de otra parte, al mismo tiempo, cabe distinguir a la comunidad científica, consistente en los investigadores de los institutos, centros y facultades de una universidad, por ejemplo. Ahora bien, es perfectamente posible que un miembro de la comunidad científica sea al mismo tiempo miembro de la comunidad académica, pero lo contrario no se implica en modo alguno con necesidad.

Esta distinción supone el reconocimiento explícito de que los profesores llevan a cabo una labor social y culturalmente determinante, a saber: socializar el conocimiento y permitir la apropiación social de lo mejor de la ciencia —en sentido amplio e incluyente— ante estudiantes, miembros de la sociedad civil, y representantes del sector público y privado. Por su parte, es propio de los investigadores darse a la tarea de (intentar) correr las fronteras del conocimiento. Pues bien, el índice H se aplica en propiedad a los miembros de la comunidad científica (véase Radicchi & Castellano, 2013).

El primer reconocimiento explícito del índice H es el siguiente: cuanto mayor sea el número de artículos importantes (en el sentido de su cantidad de citas) de un investigador, tanto mayor será el índice H, independientemente de dónde haya sido publicado el trabajo.

Existen tres escalas del índice H: el de InCites Journal Citation Reports, de Clarivate Analytics —JCR—, el de Scopus (Elsevier) y el de Google Scholar (llamado propiamente Google Scholar Citations —GSC—). Cuando se los ve sucesivamente, el siguiente en la lista es más incluyente, de suerte que:

GSC ∍ Scopus ∍ JCR-Clarivate Analytics

La relación de inclusión o pertenencia mencionada quiere significar que el más cerrado de los indicadores mencionados es JCR; luego, con respecto a este, es más incluyente Scopus; y este, a su vez, fue integrado o ampliado por parte del GSC. El índice H de Google Scholar Citations es el más incluyente, puesto que tiene en cuenta no solamente artículos publicados en revistas JCR o en Scopus, sino, también, artículos de calibre menor (registrados en bases de datos y sistemas de indexación diferentes a los de JCR y Scopus), por así decirlo, capítulos de libros, libros e, incluso, productos de socialización del conocimiento (Research Gate, 2014).

Específicamente, el índice H expresa el impacto, esto es, el número de citaciones que los trabajos de un profesor han tenido. No se tienen en cuenta, por tanto, las revistas o las editoriales en las que ha publicado, lo cual aporta una idea más sólida acerca de la importancia de su investigación, independientemente de lo que podría ser considerado un criterio de autoridad (la revista, la editorial).

Implícitamente, lo que se encuentra aquí es, en verdad, la distinción entre la comunidad académica y la comunidad científica (en inglés, el acceso al índice H se dice: “Google Scholar”, que aparece traducido en español como “Google Académico”. Sin embargo, en rigor, un scholar es un profesor o un investigador, y no simple y llanamente un “docente”). Alguien forma parte de la comunidad académica si lleva a cabo una labor social y culturalmente determinante, a saber: contribuir a la apropiación social del conocimiento, y, por tanto, a su socialización. Desde luego, es perfectamente posible que un profesor-que-hace-docencia (“miembro de la comunidad académica”) escriba y publique textos.

Por el contrario, alguien forma parte de la comunidad científica si, sobre la base de algunos títulos de formación de alto nivel —en particular el doctorado (Ph.D.)—, esta persona dedica sus mejores esfuerzos a tratar de correr las fronteras del conocimiento. En consecuencia, su trabajo consiste en la escritura y la publicación de textos en revistas llamadas de alto impacto —además de libros y capítulos de libro, principalmente—, pero es efectivamente posible que también escriba y publique en medios de distintos calibres y envergaduras. No en última instancia, aquí también cabe la producción de innovación, que se traduce en registro de obras y patentes.

En los marcos de la sociedad del conocimiento, la calidad de vida y su dignidad se definen en términos de una nueva economía política: la del conocimiento. De esta suerte, dicho de manera sucinta, la calidad de vida de los individuos en la sociedad del conocimiento se mide y se determina en función de la producción, la circulación, la distribución, el consumo y la acumulación de los bienes que produce dicha sociedad. Pues bien, los bienes aquí son (primero) información y (luego también) conocimiento. Este, queremos sostenerlo, es el marco genérico del índice H.

En síntesis, dicho índice constituye una medición incluyente de la calidad de ciencia que se produce por parte de cada investigador, reconociendo que cada uno puede —e incluso debe— producir textos para públicos diversos, de calidades diferentes, con finalidades múltiples, y que existen efectivamente medios y canales para que ello sea posible. En consecuencia, el índice H no permite la separación, la distinción o la jerarquización entre la comunidad académica y la científica, un tema social, cultural y políticamente sensible. Esto no puede decirse igualmente de los otros dos índices mencionados, JCR y Scopus, dado que consideran exclusivamente los productos reconocidos por sus propias bases de datos.

Índices cuantitativos alternativos: una discusión viva

Son cada vez más numerosas las universidades que como condición para la contratación de nuevos profesores piden, de entrada, el índice H. Así mismo, es habitual que cada vez más, en la presentación de un conferencista se haga, además de una breve exposición de su hoja de vida y logros, referencia al índice H que posee el profesor conferencista. A través de procesos como estos, sin dejar de mencionar su relevancia desde el punto de vista de la gestión del conocimiento en general, lo cierto es que la importancia y el significado de este índice se extiende cada vez más en la vida social.

En efecto, si se tienen en cuenta los que son, quizás, los tres rankings más prestigiosos, cada uno de ellos tiene en cuenta, entre otros factores, al índice H. En efecto, el Ranking de Shanghai 500, el Times Higher Education —THE— y el QS World University Ranking clasifican a las universidades considerando adicionalmente el factor H. Hay una observación puntual, y es que el índice H rige, por así decirlo, desde las universidades hasta las revistas y desde estas hasta los investigadores individualmente considerados. Cabe hablar, en toda la extensión de la palabra, de una cultura del índice H.

El debate en torno al alcance, el impacto y el significado del índice H no tiene lugar sin consideraciones acerca de otros índices alternativos. Pues bien, los más importantes alternativos pueden reunirse en tres grupos principales, así:

  1. De un lado, el grupo de empresas —e índices— más relevantes de revistas que son importantes para las comunidades de profesores e investigadores. Estas incluyen a Clarivate Analytics, Elsevier, Springer Verlag, Taylor & Francis, entre otras, las cuales no contienen índices por sí mismas, pero se adaptan a cualquiera de los dos anteriores. Estas son las revistas de los grupos Wiley & Sons (Wiley Interscience), Emerald y Sage. Es preciso señalar expresamente que todas son empresas privadas. Google, el productor del índice H, también es privada, pero cumple una función pública.

  2. Un segundo grupo está definido por las revistas de BioMedCentral y la Public Library of Science de libre acceso, entre otros.

  3. Finalmente, el tercer grupo está constituido por bases de datos —no ya indizadores—, como Ebsco, ProQuest, entre otros.

La discusión acerca de estos tres grupos tiene que ver con modos de acceso al conocimiento, políticas de socialización de este, y calidad de indizaciones e impacto de las publicaciones. En la mayoría de los casos, las revistas e índices son disciplinares, y, frente a ellos, Google Scholar y Microsoft Academics son eminentemente interdisciplinarias.

Sin la menor duda, la ventana del índice H es más amplia que cualquiera de las de JCR y Scopus —las principales—, pues comprende artículos indizados, capítulos de libros, libros y artículos en revistas de ciencia, filosofía y pensamiento en general, aun cuando no se encuentren necesariamente en bases de datos de indizaciones.

Esta circunstancia plantea, en el marco de la sociedad de la información y del conocimiento, una contradicción debido a que, por primera vez, el conocimiento no es de nadie. Sin embargo, con la excepción del Google Scholar Citations, para acceder a todas las demás bases de datos hay que o bien pagar, o bien trabajar en alguna organización o institución que, a su vez, haya pagado para que sus trabajadores accedan a estas bases de datos. Sin rodeos, esto es lo que algunos autores han denominado “capitalismo académico”.

Hay que decir, por lo demás, que existe una gama amplia de métricas de impacto académico. Algunas de las más conocidas son (Kaur, Radicci & Menczer, 2013):

  • El índice de Redner, que es la raíz cuadrada del número total de citaciones de los artículos de un autor.

  • El índice Hm que se ocupa de las citaciones de artículos de múltiples autores.

  • El índice g designa el mayor número de g artículo (una cifra) que reciben conjuntamente g2 o más citaciones.

  • El índice h i10, elaborado también por Google Scholar, que se refiere a los artículos que tienen más de diez citaciones.

  • El índice hs que propone una normalización del índice H por el promedio H de autores H en la misma disciplina.

Como se observa, existen varias variantes y alternativas al índice H, pero, en el panorama que acabamos de mostrar, todas se fundan en, o pasan por la importancia de, la fórmula originalmente desarrollada por Hirsch.

Por otra parte, la Comisión Europea ha planteado el plan Horizonte 2020 (Comisión Europea, 2014), en el que se propone abrir por completo el acceso a las fuentes de información, una política manifiestamente dirigida en contra de JCR y Scopus, como es sabido, a los cuales se puede acceder tan solo por pago o compra de las bases de datos (por ejemplo, debido a políticas nacionales, los investigadores argentinos no disponen normalmente de artículos y revistas de JCR-Clarivate y Scopus-Elsevier).

Como se aprecia sin dificultad, las discusiones, las comprensiones y las políticas en torno al índice H no son ajenas a las cuestiones mismas acerca del libre acceso al conocimiento, un tema de la mayor importancia social, cultural y política. De forma rápida y creciente, tanto los investigadores como las universidades —vía los repositorios— y las revistas apuntan en la dirección del open access, libre acceso al conocimiento y a la información.

Ahora bien, el índice H ha llegado a cobrar un impacto creciente en diversos órdenes. Así, por ejemplo, en numerosas conferencias internacionales y eventos académicos alrededor del mundo, es cada vez más habitual que la presentación de un conferencista o profesor vaya acompañada por la referencia que se hace a su índice H. Gracias a Internet es habitual observar asistentes que en sus teléfonos inteligentes o tabletas buscan inmediatamente el índice H referido, el cual es una muestra indudable de calidad e impacto. Así mismo, en redes académicas, como Research Gate y Academia.edu, es cada vez más habitual observar cómo una de las condiciones para la contratación de nuevos profesores, antes incluso que su CV, es el índice H. Este se erige como un sólido indicador que, si es verdad —y Google Scholar así permite anticiparlo—, sienta las bases para la posterior demanda de los documentos convenientes para el caso.

Sin embargo, quisiéramos concentrarnos en otro aspecto: el impacto del índice H para los rankings internacionales, como Shanghai 500, QS y THE.

La clasificación de universidades en términos de calidad y prestigio se encuentra principalmente en los rankings Shanghai 500, que cada año elabora la Universidad de Shanghai en China en agosto, el QS, una clasificación que se elabora anualmente por parte de la Quacquarelli Simonds, una compañía privada con sede en Inglaterra, y el THE, una revista semanal británica con sede en Londres. Existen, naturalmente, otros escalafones, pero sin duda estos son los tres más importantes y prestigiosos de las universidades. Los criterios de clasificación son diferentes entre sí, pero ello no constituye aquí el centro de nuestro interés.

El ranking Shanghai 500 considera un criterio, aquí pertinente, a los investigadores que son altamente citados, específicamente con artículos tanto en Science y Nature, como en Journal Citation Reports. Por su parte, el QS toma como uno de los criterios para sus escalafones el impacto de las citaciones y el índice H, pero con base exclusivamente en Scopus. Finalmente, el THE toma como uno de los criterios de calidad el promedio de registro de citaciones (average citations score) por artículo, con base en el Scopus de Elsevier. Como se aprecia, ninguno de estos escalafones incluye al GSC.

La actual influencia del índice H lo ha convertido en un objeto de estudio en sí mismo y en una poderosa herramienta de investigación cienciométrica. Una muestra reciente de ello fue el análisis efectuado por el “Scholarometer” de la Universidad de Indiana, según el cual el científico más influyente de toda la historia (según una versión ponderada por áreas de conocimiento basada en Google Scholar) es Karl Marx (Van Noorden, 2013). En dicha lista también figuran Sigmund Freud, el sociólogo Pierre Bourdieu y el físico de Princeton Edward Witten. No obstante, un uso tan extendido de una herramienta cuantitativa a lo largo del tiempo y del espacio no se iba a liberar de un duro debate.

El debate internacional sobre H y las métricas: los manifiestos de San Francisco (DORA) y Leiden

Una muestra de la gran influencia internacional que están teniendo el índice H y demás métricas derivadas de la citación es la resistencia que han generado. Probablemente los dos movimientos internacionales más importantes de debate al respecto son la Declaración de San Francisco sobre Evaluación de la Investigación —DORA— y el Manifiesto de Leiden sobre las Métricas de la Investigación.

La DORA se firmó el 16 de diciembre del 2012 en el encuentro anual de la American Society for Cell Biology —ASCB— principalmente como reacción ante el uso generalizado y acrítico del factor de impacto de Thomson Reuters (ahora Clarivate Analytics) como forma de evaluar la productividad de los investigadores científicos. Surge de la recomendación general de no usar las métricas basadas en las revistas (principalmente los factores de impacto) como una medida que subroga la calidad de los artículos de investigación, para efectos de evaluar las contribuciones individuales de los científicos con diversos fines (por ejemplo, decisiones de selección, financiación o despido).

La DORA incluye también recomendaciones específicas para cinco actores del proceso de investigación científica: 1) las agencias financiadoras; 2) las instituciones (centros de investigación y universidades); 3) las editoriales científicas; 4) las organizaciones que proporcionan las métricas; 5) los investigadores. Los firmantes originales de la Declaración fueron 155 individuos, principalmente investigadores, y 82 instituciones de Estados Unidos y otros países, entre sociedades científicas, revistas especializadas, institutos de investigación, editoriales y fundaciones. En el momento del escrito (y luego de nuestro respaldo particular), se completaron 12 423 firmas individuales y 825 organizacionales.

Por su parte, el Manifiesto de Leiden (Holanda) sobre métricas en la investigación fue publicado en la revista Nature por cinco investigadores reconocidos en los campos de la política científica y la cienciometría (Hicks, Wouters, Waltman, de Rijcke & Rafols, 2015). Se trata de un conjunto de diez principios, que han sido traducidos a nueve idiomas diferentes, con el fin de promover la adecuada evaluación de la calidad de la investigación, y evitar el mal uso indiscriminado y descontextualizado de las cada vez más populares métricas, como el factor de impacto y el índice H. Las recomendaciones son las siguientes:

  1. La evaluación cuantitativa tiene que apoyar la valoración cualitativa por expertos.

  2. El desempeño debe ser medido según las misiones de investigación de la institución, el grupo o el investigador.

  3. La excelencia en investigación de relevancia local debe ser protegida.

  4. Los procesos de recopilación y análisis de datos deben ser abiertos, transparentes y simples.

  5. Los datos y los análisis deben estar abiertos a verificación por los evaluados.

  6. Deben tenerse en cuenta las diferencias en las prácticas de publicación y citación entre campos científicos.

  7. La evaluación individual de investigadores debe basarse en la valoración cualitativa de su portafolio de investigación.

  8. Debe evitarse la concreción improcedente y la falsa de precisión.

  9. Deben reconocerse los efectos sistémicos de la evaluación y los indicadores.

  10. Los indicadores deben ser examinados y actualizados periódicamente.

Aunque la DORA muestra un tono más beligerante, la Declaración de San Francisco y el Manifiesto de Leiden sin duda reflejan conjuntamente el Zeitgeist crítico de la presente década ante la vigente hegemonía global de los indicadores métricos, basados en citaciones, para la toma de decisiones que afectan, de hecho, a los investigadores científicos. El reclamo básico y común es la priorización de la calidad sobre la cantidad en la evaluación de la producción investigativa. Cuando la cantidad prima sobre la calidad, los riesgos éticos son muy altos (Pérez-Acosta & Amaya, 2017).

Pese a todas estas críticas, como parte de un proyecto financiado por la Unión Europea, el Consejo Superior de Investigaciones Científicas —CSIC— de España ha elaborado recientemente, con base en el índice H, otro ranking de las más prestigiosas universidades y los investigadores más citados de muchos países, el cual se encuentra en línea: Webometrics. Este toma como punto de referencia el cruce entre Google Scholar Citations y Scimago. Se está actualizando en promedio dos veces al año. Nuevos elementos de juicio y comparación se toman por parte de gestores del conocimiento con base en el escalafón de Webometrics. Esta, puede decirse, es la última fase, o las más reciente, de la impronta del índice H y las métricas de la ciencia. Dicha experiencia se extiende a numerosos países y áreas geográficas, como veremos a continuación.

Implicaciones del problema en Latinoamérica y Colombia

En términos de políticas macroeconómicas, en el contexto de la sociedad del conocimiento y la construcción en marcha de la sociedad de redes cabe una consideración. El marco último (¿o primero?) de todas las referencias es la OCDE. Así, el grupo de países más desarrollados o, como se dice eufemísticamente, los “países con buenas prácticas” sientan las bases para un proceso —gradual— de estandarización de la cantidad y la calidad de los sistemas de educación, y de investigación y desarrollo —I+D—.

Hacia abajo, el mensaje puede ser leído por los países que aspiran a ser miembros de la OCDE como una exigencia de niveles de calidad. Hacia arriba, por así decirlo, apunta a los desarrollos posibles ulteriores de los países que representan lo mejor del sistema de libre mercado y los principios democráticos. Y hacia adentro, en medio de la crisis que viven los países desarrollados más importantes (el techo de la deuda interna de Estados Unidos, la crisis financiera europea, etc.), se trata de mantener los estándares y los indicadores como condiciones de excelencia y ejemplo.

En el caso de Colombia y de América Latina, los sistemas de métrica apuntan a perfeccionar el conocimiento —innovación, ciencia y tecnología, patentes, revistas de alto impacto, formación de doctores (Ph.D.) y demás— como el mecanismo más idóneo tendiente al mejoramiento tanto de condiciones de la sociedad en general, como del propio sistema productivo. El conocimiento en general está en función del desarrollo y el crecimiento económicos de los países (Maldonado, 2005).

Latinoamérica siempre ha sido una de las periferias de la ciencia en el mundo. Sin embargo, la región poco a poco se ha convertido en una autopista de doble vía en relación con asuntos de investigación científica y tecnológica: por un lado, sigue siendo consumidora y receptora de las tendencias hegemónicas, incluyendo ahora la cultura de las métricas y el índice H. Por otro lado, ha promovido iniciativas de acceso abierto a la ciencia y la visibilización de la investigación en los países en vías de desarrollo, como es el caso del portal SciELO.

Justamente este portal permite el acceso al primer estudio que hemos detectado de factor de impacto de las revistas científicas latinoamericanas, publicado en la Revista Médica de Chile (Téllez-Zenteno, Morales-Buenrostro & Estañol, 2007). Curiosamente, este análisis pionero resultó bastante sesgado pues no incluyó las ciencias sociales (medidas en el Social Sciences Citation Index) y optó por examinar las revistas por países que tienen más de una revista en el Science Citation Index: Argentina, Brasil, Chile y México. Extrañamente dejó a Colombia por fuera, país que en el 2004 contaba con más de una revista en el SCI de Thomson (actual Clarivate Analytics). Con todo, su conclusión es que no había diferencias significativas entre los factores de impacto comparados entre países, así publicaran artículos en inglés. Probablemente este resultado no hubiera cambiado con la inclusión de las revistas colombianas con factor de impacto.

Si tenemos en cuenta que el índice H se lanza en el 2005, era predecible que un estudio sobre índice H de revistas latinoamericanas surgiera hasta la presente década. Efectivamente, en el 2013, Romero-Torres, Acosta-Moreno y Tejada- Gómez publicaron el primer estudio sobre H y revistas, particularmente las colombianas. Ellos analizaron 211 revistas incluidas en la Base de Datos Nacional Publindex de Colciencias. Encontraron que el índice H resultó ser el mejor indicador para generar un ranking por cuartiles de 170 revistas de la muestra, que es homologable al ranking por cuartiles del Scimago Journal Rank —SJR— de Scopus-Elsevier.

El estudio de Romero-Torres et al. (2013) sirvió de insumo para el nuevo modelo de medición de la calidad de las revistas científicas colombianas, es decir, la nueva edición del Publindex de Colciencias, que fue lanzado en agosto del 2016. En este se combinó el uso de H5 de Google Scholar Metrics, para las revistas emergentes promisorias, con la propuesta de la comunidad científica local (que incluye la firma de uno de los autores de esta nota editorial) de homologar los cuartiles del factor de impacto de Clarivate Analytics (Journal Citation Reports) y de Scimago Journal Rank (basado en Scopus de Elsevier) con las clasificaciones de revistas, así: A1 (Q1), A (Q2), B (Q3) y C (Q4), para aquellas revistas colombianas que están ya incluidas en el Journal Citation Reports o en Scopus.

La decisión estatal de Colciencias —el organismo colombiano de ciencia y tecnología— de integrar estas métricas globales (factor de impacto JCR, SJR y H5 de Google Scholar) no solo impactará la evaluación de las revistas científicas, sino también todo el Sistema Nacional de Ciencia, Tecnología e Innovación de Colombia —Scienti— en la evaluación y la categorización de los grupos de investigación y de los investigadores individuales, con todas las consecuencias institucionales y particulares que ello acarrea. Esta situación ha generado un profundo malestar, a saber: las ciencias sociales y humanas se miden con el rasero de las ciencias clínicas, básicas y experimentales.

Precisamente el índice H tiene ahora un importante impacto para la medición de la productividad de investigadores en Latinoamérica, por cuenta de Webometrics. Esta empresa originalmente genera un ranking mundial de universidades basado en la visibilidad en la web, pero desde hace un par de años ha comenzado a generar rankings individuales, basado en el índice H de los perfiles públicos de Google Scholar. Además de exhibir los autores más citados, Webometrics tiene organizados los listados básicamente por países. Entre los latinoamericanos están: Argentina, Brasil, Bolivia, Chile, Colombia, Costa Rica, Cuba, Ecuador, El Salvador, Guatemala, Honduras, México, Nicaragua, Panamá, Paraguay, Perú, Puerto Rico, República Dominicana, Uruguay y Venezuela.

No cabe la menor duda: Google Scholar ha emergido como “la caja de Pandora académica” (Oriduña-Malea, Martín-Martín & López-Cozar, 2016). Los desempeños académicos e investigativos, y por consiguiente profesionales, adquieren de repente visibilidad, transparencia y objetividad y no son elaborados “a la medida” (taylor-made). Manifiestamente, el sistema académico y de investigación ha cambiado. Para emplear la expresión, el índice H, las métricas de Google Scholar y otras, y los indicadores y los escalafones llegaron para quedarse.

Los estándares de una o dos generaciones científicas y académicas hacia atrás eran diferentes, manifiestamente más cualitativos. Con la cienciometría los parámetros cambiaron radicalmente. La perspectiva cualitativa persiste, pero ahora la acompañan indicadores cuantitativos. La ecuación de Hirsch constituye una expresión conspicua al respecto. De cara a los estándares del pasado, la verdad es que grandes nombres del mundo académico sencillamente no figuran o sus indicadores —índice H— son muy bajos. Igualmente, los parámetros que otrora se usaban —hasta no hace mucho tiempo, digamos 10, 15 o 20 años a lo sumo— han dejado de ser necesarios e, incluso, valederos. Asistimos, tirios y troyanos, a verdaderas fuentes de sorpresas.

Conclusiones

En esta nota editorial se ha discutido la importancia y el impacto del índice H y se lo ha comparado con otros indicadores semejantes. La conclusión es que dicho índice es más incluyente, permitiendo un vaso comunicante entre la comunidad académica y la científica. Sin embargo, al mismo tiempo, el índice H ha contribuido a modificar sustancialmente los parámetros, estándares e indicadores que fueran válidos hasta hace algunos pocos lustros. “El sistema” —literalmente Google— registra las acciones y las cuantifica. Técnicamente hablando, el aprendizaje de máquinas (machine learning) constituye un catalizador que conduce de la tercera a la cuarta revolución industrial. Los académicos y los científicos son al mismo tiempo objeto y medios de esta revolución industrial en curso.

Ya hoy no es suficiente con tener una maestría o un doctorado. Adicionalmente, las demandas y las exigencias de producción y productividad van en aumento, y, con ellas, la participación real en redes nacionales e internacionales de cooperación científica. Pues bien, el catalizador y el medidor de estas nuevas políticas es el índice H. De manera creciente pero consolidada, los países, las universidades y la propia comunidad de investigadores se refiere, necesariamente, al índice H como un referente necesario, en ocasiones más aséptico o con tonos críticos.

Se manifiesta que no todas las acciones de investigación, ni todos los planes de gestión del conocimiento pueden determinarse por el índice H. Sin embargo, es igualmente cierto que no es posible hacerlo, trabajar y vivir sin o al margen del índice H. Hay aspectos de inclusión, pero también de discriminación latentes en esta medida cienciométrica. Lo determinante, desde el punto de vista de una sociología del conocimiento y de las políticas de ciencia y tecnología, es que el índice H se encuentra cada vez más estrechamente entrelazado con los planes y las acciones de libre acceso al conocimiento (open access). Así, los criterios mediante los cuales alguien se encuentra incluido o no en los rankings y escalafones es objeto de una mirada pública, en la que, para una visión atenta, aparecen los productos, sus calidades, los medios de publicación y el impacto que han tenido. Asistimos al nacimiento de una época de mucha luz, de más y mejor información y ciencia —todo ello, aparentemente, con transparencia y objetividad—. El índice H es justamente eso: una luz sobre la forma como los científicos definen su vida, pero, al mismo tiempo, indirectamente, sobre las culturas organizacionales a nivel micro (universidades) o macro (países) favorables a la ciencia y la tecnología, esto es, a más y mejor conocimiento.

Referencias

Castells, M. (1996). La era de la información. Economía, sociedad y cultura. Vol. 1. México D.F.: Siglo XXI Editores.

Comisión Europea (2014). Horizon 2020 en breve. El programa marco de investigación e innovación de la Unión Europea. Recuperado de https://ec.europa.eu/programmes/horizon2020/sites/horizon2020/files/H2020_ES_KI0213413ESN.pdf

Hicks, D., Wouters, P., Waltman, L., de Rijcke, S. & Rafols, I. (23 de abril del 2015). The Leiden Manifesto for research metrics. Nature, 520, 429-431. Recuperado de http://www.nature.com/polopoly_fs/1.17351!/menu/main/top-Columns/topLeftColumn/pdf/520429a.pdf

Hirsch, J. E. (2005). An index to quantify an individual’s scientific research output. Proceedings of the National Academy of Sciences of the United States of America, 102(46), 16 569-16 572. DOI: 10.1073/pnas.0507655102

Kaur, J., Radicchi, F. & Menczer, F. (2013). Universality of scholarly impact metrics. Journal of Informetrics, 7, 924-932.

Maldonado, C. E. (2005). CTS + P. Ciencia y tecnología como política pública y social. Bogotá: Universidad Externado de Colombia/Observatorio Colombiano de Ciencia y Tecnología.

Orduña-Malea, E., Martín-Martín, A., Ayllón, J. M. & López-Cozar, E. D. (2016). La revolución Google Scholar. Destapando la caja de Pandora académica. Granada: UNE.

Organización para la Cooperación y el Desarrollo Económicos —OCDE— (2012). Frascati Manual: proposed standard practice for surveys on research and experimental development. 6.ª ed. Recuperado de http://www.oecd.org/sti/inno/frascatimanualproposedstandardpracticeforsurveysonresearchandexperimentaldevelopment6thedition.htm

Pérez-Acosta, A. M. & Amaya, L. (2017). Editorial: retos contemporáneos a la ética en el proceso de la publicación científica. Avances en Psicología Latinoamericana, 35(3), 427-431.

Radicchi, F. & Castellano, C. (2013). Analysis of bibliometric indicators for individual scholars in large data set. Scientometrics, 97, 627-637.

Research Gate (2014). Which indexing service is good from the following: Scopus, Thomson Reuters ISI, Google Scholar? What are the advantages and disadvantages of each? Recuperado de https://www.researchgate.net/post/Which_indexing_service_is_good_from_the_following_Scopus_Thomson_Reuters_ISI_Google_Scholar_What_are_the_advantages_and_disadvantages_of_each#view=-579b734793553b35193316d6

Romero-Torres, M., Acosta-Moreno, L. A. & Tejada-Gómez, M. A. (2013). Ranking de revistas científicas en Latinoamérica mediante el índice h: estudio de caso Colombia. Revista Española de Documentación Científica, 36(1), e003. DOI: https://doi.org/10.3989/redc.2013.1.876

Téllez-Zenteno, J., Morales-Buenrostro, L. & Estañol, B. (2007). Análisis del factor de impacto de las revistas científicas latinoamericanas. Revista Médica de Chile, 135(4), 480-487.

Think Tank Watch (27 de enero del 2016). 2016 think tanks rankings – Cheat sheet. Recuperado de http://www.thinktankwatch.com/2016/01/2016-think-tank-rankings-cheat-sheet.html

Van Noorden, P. (6 de noviembre del 2013). Who is the best scientist of them all? Nature. Recuperado de http://www.nature.com/news/who-is-the-best-scientist-of-them-all-1.14108

Notas de autor

* La correspondencia relativa a este Editorial debe ser enviada a Carlos Eduardo Maldonado. Correo electrónico: maldonadocarlos@unbosque.edu.co

Descarga
PDF
ePUB
Herramientas
Cómo citar
APA
ISO 690-2
Harvard
Fuente
Secciones
Contexto
Descargar
Todas