Análisis Bibliométrico de la Producción Científica

por para Ciencia Hoy el . Publicado en Número 44.

Desde hace algún tiempo se ha difundido la práctica del análisis cuantitativo de la producción científica. Para algunos, tales actividades constituyen una disciplina diferenciada, que denominan bibliometría, la que, coherentemente con sus postulados, cuenta con su propio journal de circulación internacional Scientometrics. Si bien es obvio que el análisis bibliométrico no permite un juicio completo sobre el valor de una producción científica, proporciona orientaciones útiles.

Uno de los datos usados con mayor frecuencia para evaluar a los científicos es la cantidad de sus publicaciones. Lo mismo se puede hacer con instituciones y países, aunque el valor de las conclusiones deba tomarse con algún cuidado.

La producción científica de un investigador, un grupo o de una puede ser evaluada mediante el análisis de la cantidad de artículos publicados en revistas de calidad reconocida. Este tipo de estudio puede hacerse también extensivo a una localidad e incluso a un país. En los ámbitos académicos, la investigación se define, habitualmente, como la generación de conocimiento. Por lo tanto, puede concebirse como un proceso de producción, si bien las condiciones de funcionamiento de dicho proceso, lo mismo que sus insumos y productos, resultan difíciles de definir y precisar con alguna claridad. Entre los productos de la investigación se cuentan cosas muy distintas, como publicaciones, patentes, desarrollos, transferencias, recursos humanos, etc. La investigación básica -aquella orientada a responder preguntas motivadas por la avidez de conocimiento o la curiosidad intelectual, a diferencia de la originada en la necesidad de resolver un problema particular- da lugar a la publicación de artículos científicos o papers en revistas especializadas. La comunidad científica internacional se comunica mediante esas revistas o journals de circulación mundial.

El conocimiento generado (o producido) por la investigación sólo toma estado público y sale del medio de su creación cuando es publicado. La publicación genera, también, un ámbito de discusión, en el que se confrontan ideas, hipótesis y teorías. Antes, los intercambios de opiniones ocurrían cara a cara. así lo hicieron Pasteur y Pouchet, lo mismo que Einstein y Bohr; pero cuando las ideas son asentadas sobre el papel, aun sin una localización precisa en el espacio y el tiempo, las discusiones se enriquecen con el aporte de muchos. Por otro lado, el registro impreso constituye un archivo de la actividad científica que se incorpora al acerbo cultural de la humanidad.

Aunque los papers no sean los únicos productos de la investigación, proporcionan una manera fácil de medirla.

Seguramente por ello constituyen el indicador más usado -aunque muchas veces no se lo admita- en los ambientes académicos, a pesar de las criticas que puede merecer el procedimiento. Independientemente de la validez del indicador, en particular, su fidelidad, limitaciones y desviaciones, es sin duda útil disponer de datos sobre, por lo menos, los aspectos cuantitativos de las actividades científicas y tecnológicas, sobre todo para establecer políticas de asignación de recursos y para determinar los resultados de estas. Así es como se habla de una nueva disciplina que se ocupa del asunto, bautizada con los nombres de cientometría (scientometrics) o bibliometría.

Esta nota se ocupa de realizar un análisis cuantitativo de los artículos científicos originados en la Argentina y en otros países, aparecidos en publicaciones periódicas de difusión internacional cuyos editores someten las contribuciones a la evaluación de árbitros calificados, también llamada juicio de pares o peer-review. Los datos fueron recopilados por el Institute for Scientific Information (ISI) de Filadelfia, acerca del cual se proporciona información en un recuadro; fueron dados a conocer en dos registros que difunde la institución, el Science Citation Index (SCI) y el Social Sciences Citation Index (SSCI). La nota tiene por propósito aportar alguna luz al debate sobre cómo evaluar la investigación científica.

La tabla 1 registra la producción científica incluida en el SCI originaria de la Argentina, España y Portugal, así como de otros diez países latinoamericanos y otros ocho desarrollados, elegidos al azar. Cubre el quinquenio 1991-1995 e indica el número de artículos cuyo autor principal (corresponding author) es de los países en cuestión. También indica variaciones porcentuales y promedios. La selección de los países se realizó con fines exclusivamente comparativos. No están incluidos artículos con autor principal de otro país y coautores procedentes de los consignados.

Los países latinoamericanos analizados se caracterizan por la gran disparidad de los números. El valor mayor (4244 artículos originados en el Brasil) es prácticamente dos órdenes más alto que el menor (46 procedentes de Bolivia). Las variaciones anuales son también muy diversas. Excepto en los tres países con más publicaciones (Brasil, Argentina y México), en todos los restantes por lo menos en un año del quinquenio la variación fue negativa y en otros años alcanzó las magnitudes positivas mayores, fenómeno especialmente notorio en los países con menor número de artículos, como el Ecuador y Bolivia, cuyos promedios anuales fueron los menores (54 y 46, respectivamente) y cuyos incrementos, los mayores (58,5% y 54,3%). En el Ecuador, igualmente, se registró la mayor variación negativa (30,4% en 1992).

Entre los países desarrollados no se observa una disparidad tan significativa, salvo en el que publica más, los Estados Unidos, cuya producción alcanza en promedio al cuarto de millón de artículos por año. Japón, el segundo de la lista, con poco más de 50.000 artículos por año en promedio, publica menos de cinco veces el número de artículos de Suecia, que produce algo más de 11.000. Entre estos países se advierte un único caso de variación negativa (Alemania en 1993) y, en general, las variaciones anuales fueron más bajas que las de los países latinoamericanos. En sólo dos casos (Japón y Alemania en 1992) se registraron crecimientos superiores al 10%. España, con algo menos de 13.000 artículos por año en promedio, publica el triple que el Brasil. En cambio, a Portugal corresponden cifras más parecidas a las de los países latinoamericanos, pues su producción resulta en promedio prácticamente idéntica a la de Chile (1200 artículos por año). Recuérdese que la selección de los países fue realizada al azar, lo que explica que no estén presentes, entre otros, el Reino Unido y Rusia.

La tabla 2 muestra el número de artículos con corresponding author residente en los países indicados registrados en 1993 y 1994 por el SSCI. También indica la relación entre el número de artículos compilados por cada registro (SCI/SSCI), es decir, el número de artículos correspondientes a las ciencias exactas y naturales por cada uno de ciencias sociales, lo cual puede interpretarse como un indicador del desarrollo relativo de ambas grandes áreas académicas. En ambos grupos de países se observa una gran disparidad en el número de artículos compilados y notorios cambios en el ordenamiento, lo que indica diferentes desarrollos relativos de dichas áreas del conocimiento, por lo menos en los términos de esta clase se estándares internacionales de funcionamiento. México, Colombia y Costa Rica ocupan posiciones más altas en el ordenamiento del SSCI que en el del SCI, lo que se refleja en un menor cociente SCI/SSCI. Las diferencias de cantidad de artículos registrados en los países latinoamericanos son menores para las ciencias sociales que para las exactas y naturales: el país que más publicó en el bienio (México, con 235 artículos anuales en promedio) está cuarenta veces por encima de los que registraron el menor promedio (Bolivia y Ecuador, con seis artículos cada uno), relación que alcanza a más del doble (94) en los números de la tabla 1.

El cociente SCI/SSCI varía entre 5,8 (Costa Rica) y 28,7 (Argentina). Para México el valor de la relación es 9,2, es decir, por cada articulo de las ciencias exactas y naturales que se genera en México, se producen tres veces más artículos correspondientes a las ciencias sociales que los que se generan acá. Esto puede interpretarse tanto como un escaso desarrollo relativo de las ciencias exactas y naturales en aquel país, como uno de las ciencias sociales en este. En cambio, entre los países desarrollados analizados las diferencias fueron más marcadas que en las ciencias exactas y naturales. Las cifras de los Estados Unidos son nuevamente las más altas, pero en las exactas y naturales publicó 4,8 veces más que el Japón, el segundo de la lista; en las ciencias sociales lo hizo 9,1 veces más que el Canadá, que ocupa el segundo lugar. Lo mismo se advierte con respecto a las diferencias entre los restantes países. La relación entre el segundo y el último es 4,5 para los números de la tabla 1, mientras que alcanza a 6,9 para los de la 2. De la misma manera, la heterogeneidad del cociente SCI/SSCI es muy marcada entre los países desarrollados, mucho mayor que entre los latinoamericanos: los valores varían entre 4,3 (Estados Unidos) y 51,7 (Japón), es decir, el mayor es doce veces el menor. En este caso, a diferencia del anterior, España se encuentra más cercana a los países latinoamericanos que a los desarrollados.

Como para las ciencias sociales se dispuso de datos de sólo un bienio, resultó un valor de variación anual, lo que impide sacar conclusiones significativas. De todos modos, llama la atención el alto número de variaciones negativas: diez de veintiún piases publicaron menos artículos de ciencias sociales en 1994 que en 1993, proporción semejante en latinoamericanos y desarrollados.

Con el objetivo de analizar cómo se distribuye la producción científica en la Argentina, se consideraron los registros con corresponding author domiciliado en alguna de las quince ciudades más frecuentemente representadas, todas sede de universidades nacionales. La tabla 3 corresponde al SCI y pone en evidencia la notoria centralización en Buenos Aires, de la que procede casi la mitad de los artículos registrados en el quinquenio y más del triple de lo producido en La Plata, donde se publicó 46% más que en Córdoba, que superó por 94% a Bariloche. Luego, las diferencias se ubican por debajo del 50%. Si bien las variaciones anuales para el país en su conjunto fueron positivas en el período analizado, sólo en dos localidades, Rosario y Mendoza, sucedió lo mismo. En 1992, en cinco ciudades se publicó menos que el año anterior; en 1993 y 1994 ello sucedió en cuatro localidades, mientras que en 1995 sólo una ciudad no aumentó su número de artículos registrados.

El mismo tipo de análisis se realizó con las bases de datos del SSCI correspondientes a 1993 y 1994, cuando sólo 81 y 78 artículos, respectivamente, tienen corresponding authors argentinos, domiciliados en 9 y 6 ciudades, también respectivamente. La Tabla 4 muestra esos artículos por localidad de origen. También indica la participación relativa de las localidades en el total del país y la relación entre los artículos compilados por uno y otro índex. En las ciencias sociales se observa una centralización aún mayor que la encontrada para las ciencias exactas y naturales. Buenos Aires, con un promedio de 60 artículos/año, da cuenta de tres de cada cuatro papers del país; luego se ubican Córdoba y La Plata, con un nivel semejante (6,5 y 5,5 artículos/año en promedio, respectivamente), alrededor de la décima parte de Buenos Aires. Las restantes ciudades -las dos terceras partes de las localidades argentinas registradas en el SSCI en el bienio, o seis sobre nueve- publicaron menos de tres artículos/año en promedio. Además del cambio de lugar relativo de Córdoba y La Plata, son llamativas otras diferencias en el ordenamiento con respecto al SCI (Tabla 3): San Luis y Tucumán tienen una participación relativa mayor en las ciencias sociales que en las exactas y naturales; mientras que para Bariloche y Bahía Blanca esta participación es menor. Las diferencias en el desarrollo relativo de ambos grandes grupos de disciplinas pueden advertirse también analizando la relación SCI/SSCI. De las nueve localidades, dos se encuentran por debajo del promedio del país (28,7);: Buenos Aires (19,7) y San Luis (13,4); las restantes exhiben valores mayores, que llegan a 189 en el caso de Bariloche.

Así, San Luis publica 13 papers "duros" por cada uno de las ciencias sociales, Buenos Aires, casi 20 y Bariloche, 189. Córdoba duplica a La Plata en cuanto al índice de artículos sociales publicados relativos a los de las ciencias exactas y naturales. Sin embargo, las conclusiones de este párrafo deben tomarse a titulo de inventario por lo reducido de las cifras en cuestión (se requeriría, por lo menos, analizar un lapso más prolongado).

Como conclusiones a lo expuesto, se puede señalar, en primer lugar, que resulta curioso advertir lo difundido del uso como instrumento de evaluación, en los medios académicos, de la cantidad de papers publicados en revistas aceptadas por el lSI, cuando poco es lo que se conoce sobre cómo se generan los indicadores, cuál es su real valor, qué cantidades están en juego, cuál es la importancia relativa de las áreas (tanto geográficas como temáticas), etc., en suma, cuando se carece de un estudio preciso sobre las características, utilidad y limitaciones de tal uso. Esta nota intenta avanzar en esa dirección.

Saltan a la vista dos tipos de problemas, uno relacionado con los objetivos y otro con los métodos. Tal vez los segundos sean más simples de esclarecer y ayuden a reflexionar sobre los primeros. Es, sin duda, necesario saber utilizar y reconocer las limitaciones de las bases de datos disponibles, pues generar otras sería una tarea titánica, casi imposible de encarar por los desmedidos recursos necesarios. Un ejemplo de problema técnico por resolver es el lapso mínimo que puede considerarse significativo como unidad de estudio, y su relación con un número mínimo de artículos registrados, para lograr una aceptable representatividad o, por lo menos, no excesiva dispersión de los datos. Esta dificultad se presenta de manera particularmente crítica en casos como el Uruguay y Bolivia, y la mayoría de las ciudades argentinas.

De los resultados del análisis, y aceptando que los valores comentados proporcionan un razonable retrato de la realidad, es interesante destacar -por su relevancia para el debate político presente- que el 95% de la investigación científica del país se realiza en dependencias estatales, y que el 58% de ella tiene lugar en universidades nacionales.

Bases de datos bibliográficos

Originalmente, las bases de datos bibliográficos tenían el propósito de permitir la realización de búsquedas en la literatura sobre un determinado tema y sistematizar la información. El lnstitute for Scientific Information (lsi), de Filadelfia, es el organismo más reconocido internacionalmente de entre los que generan tal tipo de bases. Publica los muy conocidos Current Contents, de aparición semanal, y produce tres índices anuales: el Science Citation Index (Sci), el Social Sciences Citation Index (Ssci) y el Arts & Humanities Citation Index (AHCI), que compilan la información bibliográfica básica de artículos publicados en determinado número de revistas. La selección de estas procura reflejar la corriente principal del pensamiento internacional (mainstream) de la respectiva disciplina. Los datos recopilados en los índices de citas son, para cada una de estas: revista, volumen, número, número(s) de página(s), título, autor(es), dirección postal, palabras clave y la bibliografía indicada.

El SCI recoge anualmente los datos de más de 800.000 artículos, aparecidos en alrededor de 3500 publicaciones periódicas de circulación internacional de las ciencias exactas y naturales, y sus tecnologías. El número de revistas varia año tras año: en 1992 fue de 3241, aparecidas en 47 países -4,6% o 142 revistas más que el anterior-, de las que diecinueve fueron iberoamericanas, a saber:

Siete españolas: Anales de química, Cell Biology Reviews, Histology and Histopathology, International Journal of Developmental Biology, Medicina clínica, Methods and Findings in Experimental and Clinical Pharmacology y Revista española de fisiología.

Tres argentinas: Anales de la Asociación Química Argentina, Medicina y Phyton. International Journal of Experimental Botany. Tres brasileñas: Brazilian Journal of Medical and Biological Research, Memorias do Instituto Oswaldo Cruz y Revista do Instituto de Medicina Tropical.

Tres mexicanas: Archivos de investigación médica, Revista mexicana de astronomía y astrofísica y Revista mexicana de física. Dos chilenas: Boletín de la sociedad chilena de química y Revista médica de Chile. Una venezolana: Interciencia.

Ninguna revista publicada en los restantes países iberoamericanos, incluyendo Portugal, fue tomada en consideración y sólo se incluyeron datos de nueve del África: una de Kenya y ocho de Sudáfrica.

El SSCI recoge anualmente datos de artículos correspondientes a las ciencias sociales aparecidos en alrededor de 3000 publicaciones periódicas de circulación internacional. No todas las revistas son compiladas completamente, es decir, de algunas sólo se toman datos de artículos relativos a las ciencias sociales.

Existe, además, alguna superposición con las revistas compiladas del SCI, tanto las que lo son en su totalidad como las que sólo se registran parcialmente. En 1991, el número de revistas fue de 2703, de las que 1432 se registraron en forma total -2,1% o 29 revistas más que el año anterior- y 1271 en forma parcial; las primeras procedían de 36 países y nueve de ellas de Iberoamérica, a saber: Tres brasileñas: Arquivos brasileiros de psicología, Dados y Revista de saúde pública.

Dos mexicanas: Salud mental y Trimestre económico.
Una argentina: Desarrollo Económico.
Una colombiana: Revista latinoamericana de Psicología.
Una costarricense: Estudios sociales centroamericanos.
Una española: European Journal of Psychiatry.

Ninguna revista publicada en los restantes países iberoamericanos, incluyendo Portugal, fue tomada en consideración y sólo se incluyeron datos de dos del África, ambas de Sudáfrica.

Para este trabajo se usaron dos bases de datos, disponibles en el Centro Argentino de Información Científica y Tecnológica (CAICYT) del CONICET. Una, las versiones en CD-RoM de los SCI de los años 1991 a 1995 (del último, los 11 primeros meses), y de los SCCI de los años 1993 y 1994, cuya estructura contiene sólo un campo de archivo, address, que especifica el corresponding author (to whom reprints should be requested) del articulo. Por lo tanto, la base no incluye trabajos publicados en colaboración, en particular, los escritos por argentinos con extranjeros que sean los corresponding authors. Ello evita redundancias, pues da lugar a una correspondencia unívoca entre artículos y registros, pero tiene dos inconvenientes: impide el análisis de los trabajos realizados en colaboración, aun entre investigadores del mismo país, y subestima la producción nacional, debido a la ausencia de trabajos en los que un investigador de un país trabajó con alguien de otro que tomó carácter de corresponding author.

La otra base de datos usada fue la versión impresa del SCI, que contiene una sección denominada Geographic & Corporate Index. En ella, los datos están organizados primero por país, luego por localidad, después por institución y, finalmente, por autor y cita bibliográfica. Un articulo genera tantos registros como lugares de trabajo tengan los autores que lo publicaron, por más que sean de la misma localidad o país -no así si pertenecen a la misma organización, es decir, si tienen la misma dirección. Si bien esta base podría sobrestimar la producción total, pues el número de registros es mayor que el de artículos, permite un buen análisis detallado de las instituciones científicas.

¿En qué tipo de instituciones argentinas se originan las publicaciones científicas?

En el capítulo Geographic & Corporate Index de la versión impresa del So correspondiente a 1990, las publicaciones cuyos autores tenían dirección en la Argentina representan 2827 registros, correspondientes a 62 localidades. El número de registros no se corresponde con la cantidad de artículos ni con la de autores, ya que un artículo firmado por varios autores que trabajan en el mismo lugar genera un registro, pero da lugar a dos silos autores provienen de dos lugares. El número de registros se corresponde, más bien, con el de lugares de trabajo o instituciones de origen de los artículos, las que se clasificaron en tres grupos: universidades nacionales, organismos estatales no universitarios y organizaciones privadas (115 instituciones o 4,4% de ellas no pudieron ser clasificadas).

El número de instituciones consignadas por el índex es por lo menos el triple de las que realmente originaron artículos, por inconsistencias de notación en la manera como los autores consignan su lugar de trabajo. Por ejemplo, una universidad argentina puede aparecer Univ. Argentina, Univ. de la Argentina, Univ. Nac. Argentina, Univ. Nac. de la Argentina, Univ. of Argentina, Argentine University, Natl. Univ. of Argentina, etc. Lo mismo ocurre con las localidades, pues las 62 reales están registradas en la base como 75, debido a errores tipográficos o de notación (ni Núñez ni Patagonia son verdaderas localidades a estos efectos). Este tipo de problema es más grave si se trabaja con bases en soporte magnético u óptico, en vez de hecerlo con versiones impresas sobre papel, por la mayor dificultad en las tareas de depuración.

De los 2627 registros mencionados, 1464 (55,7%) correspondieron a universidades nacionales, 933 (35,5%) a organismos estatales no universitarios, 115 (4,4%) a instituciones privadas y 115 (4,4%) no pudieron ser adjudicados. Suponiendo que los últimos se dividen igual que los otros, se verificarla una relación de 58:37:5 para, respectivamente, universidades nacionales, organismos estatales no universitarios e instituciones privadas.

Lecturas Sugeridas

ALBORNOZ, M., 1994, "Indicadores en ciencia y tecnología", Redes,1:133-144.

BRAUN, T., MACZELKA, H. & SCHUBERT, A., 1992, 'Scientometric indicator datafiles. Summary statistics and trendlines of major geopolitical regions, 1980-1989", Scientometrics, 25, 2:211-217.

GIBBS, W.W., 1995, "Lost Science in the Third World", Scientific American, August, 76-83.

KRAUSKOPF, M. & VERA, M.I., 1995, "Las revistas Iatinoamericanas de corriente principal: indicadores y estrategias para su consolidación", Interciencia, 20:144-148.

SANCHO, R., 1992, "Misjudgements and shortcomings in the measurement of scientific activities in less developed countries", Scientometrics, 23, 1:221-233.

VIDAL, J., 1993, "El Science Citation Index y la evaluación de la investigación en las universidades", Política científica, 37:57-59.

Raúl Fernández

Raúl Fernández

Centro de Divulgación Científica, Facultad de Ingeniería, Universidad Nacional de Mar del Plata