Desde hace algún tiempo se ha difundido la práctica del análisis cuantitativo de la producción científica. Para algunos, tales actividades constituyen una disciplina diferenciada, que denominan bibliometría, la que, coherentemente con sus postulados, cuenta con su propio journal de circulación internacional Scientometrics. Si bien es obvio que el análisis bibliométrico no permite un juicio completo sobre el valor de una producción científica, proporciona orientaciones útiles.
Uno de los datos usados con mayor frecuencia para evaluar a los científicos es la cantidad de sus publicaciones. Lo mismo se puede hacer con instituciones y países, aunque el valor de las conclusiones deba tomarse con algún cuidado.
La producción científica de un investigador, un grupo o de una puede ser evaluada mediante el análisis de la cantidad de artículos publicados en revistas de calidad reconocida. Este tipo de estudio puede hacerse también extensivo a una localidad e incluso a un país. En los ámbitos académicos, la investigación se define, habitualmente, como la generación de conocimiento. Por lo tanto, puede concebirse como un proceso de producción, si bien las condiciones de funcionamiento de dicho proceso, lo mismo que sus insumos y productos, resultan difíciles de definir y precisar con alguna claridad. Entre los productos de la investigación se cuentan cosas muy distintas, como publicaciones, patentes, desarrollos, transferencias, recursos humanos, etc. La investigación básica -aquella orientada a responder preguntas motivadas por la avidez de conocimiento o la curiosidad intelectual, a diferencia de la originada en la necesidad de resolver un problema particular- da lugar a la publicación de artículos científicos o papers en revistas especializadas. La comunidad científica internacional se comunica mediante esas revistas o journals de circulación mundial.
El conocimiento generado (o producido) por la investigación sólo toma estado público y sale del medio de su creación cuando es publicado. La publicación genera, también, un ámbito de discusión, en el que se confrontan ideas, hipótesis y teorías. Antes, los intercambios de opiniones ocurrían cara a cara. así lo hicieron Pasteur y Pouchet, lo mismo que Einstein y Bohr; pero cuando las ideas son asentadas sobre el papel, aun sin una localización precisa en el espacio y el tiempo, las discusiones se enriquecen con el aporte de muchos. Por otro lado, el registro impreso constituye un archivo de la actividad científica que se incorpora al acerbo cultural de la humanidad.
Aunque los papers no sean los únicos productos de la investigación, proporcionan una manera fácil de medirla.
Seguramente por ello constituyen el indicador más usado -aunque muchas veces no se lo admita- en los ambientes académicos, a pesar de las criticas que puede merecer el procedimiento. Independientemente de la validez del indicador, en particular, su fidelidad, limitaciones y desviaciones, es sin duda útil disponer de datos sobre, por lo menos, los aspectos cuantitativos de las actividades científicas y tecnológicas, sobre todo para establecer políticas de asignación de recursos y para determinar los resultados de estas. Así es como se habla de una nueva disciplina que se ocupa del asunto, bautizada con los nombres de cientometría (scientometrics) o bibliometría.
Esta nota se ocupa de realizar un análisis cuantitativo de los artículos científicos originados en la Argentina y en otros países, aparecidos en publicaciones periódicas de difusión internacional cuyos editores someten las contribuciones a la evaluación de árbitros calificados, también llamada juicio de pares o peer-review. Los datos fueron recopilados por el Institute for Scientific Information (ISI) de Filadelfia, acerca del cual se proporciona información en un recuadro; fueron dados a conocer en dos registros que difunde la institución, el Science Citation Index (SCI) y el Social Sciences Citation Index (SSCI). La nota tiene por propósito aportar alguna luz al debate sobre cómo evaluar la investigación científica.
La tabla 1 registra la producción científica incluida en el SCI originaria de la Argentina, España y Portugal, así como de otros diez países latinoamericanos y otros ocho desarrollados, elegidos al azar. Cubre el quinquenio 1991-1995 e indica el número de artículos cuyo autor principal (corresponding author) es de los países en cuestión. También indica variaciones porcentuales y promedios. La selección de los países se realizó con fines exclusivamente comparativos. No están incluidos artículos con autor principal de otro país y coautores procedentes de los consignados.
Los países latinoamericanos analizados se caracterizan por la gran disparidad de los números. El valor mayor (4244 artículos originados en el Brasil) es prácticamente dos órdenes más alto que el menor (46 procedentes de Bolivia). Las variaciones anuales son también muy diversas. Excepto en los tres países con más publicaciones (Brasil, Argentina y México), en todos los restantes por lo menos en un año del quinquenio la variación fue negativa y en otros años alcanzó las magnitudes positivas mayores, fenómeno especialmente notorio en los países con menor número de artículos, como el Ecuador y Bolivia, cuyos promedios anuales fueron los menores (54 y 46, respectivamente) y cuyos incrementos, los mayores (58,5% y 54,3%). En el Ecuador, igualmente, se registró la mayor variación negativa (30,4% en 1992).
Entre los países desarrollados no se observa una disparidad tan significativa, salvo en el que publica más, los Estados Unidos, cuya producción alcanza en promedio al cuarto de millón de artículos por año. Japón, el segundo de la lista, con poco más de 50.000 artículos por año en promedio, publica menos de cinco veces el número de artículos de Suecia, que produce algo más de 11.000. Entre estos países se advierte un único caso de variación negativa (Alemania en 1993) y, en general, las variaciones anuales fueron más bajas que las de los países latinoamericanos. En sólo dos casos (Japón y Alemania en 1992) se registraron crecimientos superiores al 10%. España, con algo menos de 13.000 artículos por año en promedio, publica el triple que el Brasil. En cambio, a Portugal corresponden cifras más parecidas a las de los países latinoamericanos, pues su producción resulta en promedio prácticamente idéntica a la de Chile (1200 artículos por año). Recuérdese que la selección de los países fue realizada al azar, lo que explica que no estén presentes, entre otros, el Reino Unido y Rusia.
La tabla 2 muestra el número de artículos con corresponding author residente en los países indicados registrados en 1993 y 1994 por el SSCI. También indica la relación entre el número de artículos compilados por cada registro (SCI/SSCI), es decir, el número de artículos correspondientes a las ciencias exactas y naturales por cada uno de ciencias sociales, lo cual puede interpretarse como un indicador del desarrollo relativo de ambas grandes áreas académicas. En ambos grupos de países se observa una gran disparidad en el número de artículos compilados y notorios cambios en el ordenamiento, lo que indica diferentes desarrollos relativos de dichas áreas del conocimiento, por lo menos en los términos de esta clase se estándares internacionales de funcionamiento. México, Colombia y Costa Rica ocupan posiciones más altas en el ordenamiento del SSCI que en el del SCI, lo que se refleja en un menor cociente SCI/SSCI. Las diferencias de cantidad de artículos registrados en los países latinoamericanos son menores para las ciencias sociales que para las exactas y naturales: el país que más publicó en el bienio (México, con 235 artículos anuales en promedio) está cuarenta veces por encima de los que registraron el menor promedio (Bolivia y Ecuador, con seis artículos cada uno), relación que alcanza a más del doble (94) en los números de la tabla 1.
El cociente SCI/SSCI varía entre 5,8 (Costa Rica) y 28,7 (Argentina). Para México el valor de la relación es 9,2, es decir, por cada articulo de las ciencias exactas y naturales que se genera en México, se producen tres veces más artículos correspondientes a las ciencias sociales que los que se generan acá. Esto puede interpretarse tanto como un escaso desarrollo relativo de las ciencias exactas y naturales en aquel país, como uno de las ciencias sociales en este. En cambio, entre los países desarrollados analizados las diferencias fueron más marcadas que en las ciencias exactas y naturales. Las cifras de los Estados Unidos son nuevamente las más altas, pero en las exactas y naturales publicó 4,8 veces más que el Japón, el segundo de la lista; en las ciencias sociales lo hizo 9,1 veces más que el Canadá, que ocupa el segundo lugar. Lo mismo se advierte con respecto a las diferencias entre los restantes países. La relación entre el segundo y el último es 4,5 para los números de la tabla 1, mientras que alcanza a 6,9 para los de la 2. De la misma manera, la heterogeneidad del cociente SCI/SSCI es muy marcada entre los países desarrollados, mucho mayor que entre los latinoamericanos: los valores varían entre 4,3 (Estados Unidos) y 51,7 (Japón), es decir, el mayor es doce veces el menor. En este caso, a diferencia del anterior, España se encuentra más cercana a los países latinoamericanos que a los desarrollados.
Como para las ciencias sociales se dispuso de datos de sólo un bienio, resultó un valor de variación anual, lo que impide sacar conclusiones significativas. De todos modos, llama la atención el alto número de variaciones negativas: diez de veintiún piases publicaron menos artículos de ciencias sociales en 1994 que en 1993, proporción semejante en latinoamericanos y desarrollados.
Con el objetivo de analizar cómo se distribuye la producción científica en la Argentina, se consideraron los registros con corresponding author domiciliado en alguna de las quince ciudades más frecuentemente representadas, todas sede de universidades nacionales. La tabla 3 corresponde al SCI y pone en evidencia la notoria centralización en Buenos Aires, de la que procede casi la mitad de los artículos registrados en el quinquenio y más del triple de lo producido en La Plata, donde se publicó 46% más que en Córdoba, que superó por 94% a Bariloche. Luego, las diferencias se ubican por debajo del 50%. Si bien las variaciones anuales para el país en su conjunto fueron positivas en el período analizado, sólo en dos localidades, Rosario y Mendoza, sucedió lo mismo. En 1992, en cinco ciudades se publicó menos que el año anterior; en 1993 y 1994 ello sucedió en cuatro localidades, mientras que en 1995 sólo una ciudad no aumentó su número de artículos registrados.
El mismo tipo de análisis se realizó con las bases de datos del SSCI correspondientes a 1993 y 1994, cuando sólo 81 y 78 artículos, respectivamente, tienen corresponding authors argentinos, domiciliados en 9 y 6 ciudades, también respectivamente. La Tabla 4 muestra esos artículos por localidad de origen. También indica la participación relativa de las localidades en el total del país y la relación entre los artículos compilados por uno y otro índex. En las ciencias sociales se observa una centralización aún mayor que la encontrada para las ciencias exactas y naturales. Buenos Aires, con un promedio de 60 artículos/año, da cuenta de tres de cada cuatro papers del país; luego se ubican Córdoba y La Plata, con un nivel semejante (6,5 y 5,5 artículos/año en promedio, respectivamente), alrededor de la décima parte de Buenos Aires. Las restantes ciudades -las dos terceras partes de las localidades argentinas registradas en el SSCI en el bienio, o seis sobre nueve- publicaron menos de tres artículos/año en promedio. Además del cambio de lugar relativo de Córdoba y La Plata, son llamativas otras diferencias en el ordenamiento con respecto al SCI (Tabla 3): San Luis y Tucumán tienen una participación relativa mayor en las ciencias sociales que en las exactas y naturales; mientras que para Bariloche y Bahía Blanca esta participación es menor. Las diferencias en el desarrollo relativo de ambos grandes grupos de disciplinas pueden advertirse también analizando la relación SCI/SSCI. De las nueve localidades, dos se encuentran por debajo del promedio del país (28,7);: Buenos Aires (19,7) y San Luis (13,4); las restantes exhiben valores mayores, que llegan a 189 en el caso de Bariloche.
Así, San Luis publica 13 papers “duros” por cada uno de las ciencias sociales, Buenos Aires, casi 20 y Bariloche, 189. Córdoba duplica a La Plata en cuanto al índice de artículos sociales publicados relativos a los de las ciencias exactas y naturales. Sin embargo, las conclusiones de este párrafo deben tomarse a titulo de inventario por lo reducido de las cifras en cuestión (se requeriría, por lo menos, analizar un lapso más prolongado).
Como conclusiones a lo expuesto, se puede señalar, en primer lugar, que resulta curioso advertir lo difundido del uso como instrumento de evaluación, en los medios académicos, de la cantidad de papers publicados en revistas aceptadas por el lSI, cuando poco es lo que se conoce sobre cómo se generan los indicadores, cuál es su real valor, qué cantidades están en juego, cuál es la importancia relativa de las áreas (tanto geográficas como temáticas), etc., en suma, cuando se carece de un estudio preciso sobre las características, utilidad y limitaciones de tal uso. Esta nota intenta avanzar en esa dirección.
Saltan a la vista dos tipos de problemas, uno relacionado con los objetivos y otro con los métodos. Tal vez los segundos sean más simples de esclarecer y ayuden a reflexionar sobre los primeros. Es, sin duda, necesario saber utilizar y reconocer las limitaciones de las bases de datos disponibles, pues generar otras sería una tarea titánica, casi imposible de encarar por los desmedidos recursos necesarios. Un ejemplo de problema técnico por resolver es el lapso mínimo que puede considerarse significativo como unidad de estudio, y su relación con un número mínimo de artículos registrados, para lograr una aceptable representatividad o, por lo menos, no excesiva dispersión de los datos. Esta dificultad se presenta de manera particularmente crítica en casos como el Uruguay y Bolivia, y la mayoría de las ciudades argentinas.
De los resultados del análisis, y aceptando que los valores comentados proporcionan un razonable retrato de la realidad, es interesante destacar -por su relevancia para el debate político presente- que el 95% de la investigación científica del país se realiza en dependencias estatales, y que el 58% de ella tiene lugar en universidades nacionales.
