No freemen shall be taken or imprisoned or disseised or exiledor in any way destroyed, nor will we go upon him nor send upon him, except by the lawful judgment of his peers or by the law of the land. To no one will we sell, to no one will we refuse or delay, right or justice.
Cláusulas treinta y nueve y cuarenta de la Carta Magna (15 de junio de 1215).
En el curso de este siglo, el término Juicio de los pares, ya contenido -si bien en un contexto distinto- en la Carta Magna, comenzó a aplicarse sistemáticamente para designar los procedimientos de evaluación de la tarea de un investigador basados en la opinión de sus congéneres. El juicio de los pares se acepta como el método más equitativo y eficiente para realizar esa valoración, y se utiliza con el fin de decidir acciones como la asignación de fondos para financiar la investigación, el acceso, permanencia y promoción en cargos académicos y la aceptación o rechazo, por parte de revistas especializadas, de artículos que publiquen resultados de investigaciones (trámite, este, que suele llamarse arbitraje o referato). El método está fundamentado en la concepción de que los más aptos para justipreciar el mérito de un científico son quienes comparten con él el esfuerzo de creación de conocimiento. El juicio de los pares integra asimismo, el proceso de incorporación de hallazgos al corpus de una disciplina que sólo se produce si el nuevo conocimiento supera el examen critico de la comunidad científica.
El buen funcionamiento del juicio de los pares requiere que los evaluadores no actúen influidos por sus intereses personales, por su ideología política o por las presiones de los evaluados. Debe formularse de manera independiente de las instancias administrativas y políticas de la ciencia, pero no invadir los temas que competen a estas, las que, en contrapartida, tienen que aceptarlo, sin contradecirlo o distorsionarlo. Quien es evaluado tiene derecho a conocer y a apelar el juicio. Como se advierte, muchos de estos requisitos son similares a los de un sistema judicial que respete los derechos de los ciudadanos.
La experiencia acumulada en muchos países, sin embargo, testimonia que las exigencias mencionadas no son suficiente garantía de que, en su aplicación, el juicio de los pares no sufra distorsiones, las cuales conspiran contra la adecuada valoración de los científicos y, por ende, contra la correcta gestión de la ciencia. Entre ellas cabe mencionar:
Favorecer a grupos de investigación consolidados, a investigaciones disciplinarias y a temas de moda, en detrimento de grupos con poco tiempo de constituidos, de temas interdisciplinarios o de investigaciones sobre cuestiones importantes pero que no gozan del reconocimiento general.
Discriminar contra integrantes subrepresentados de la comunidad científica. En algunos países esto alude a mujeres y minorías étnicas; en la Argentina es probable que se aplique a áreas geográficas distantes de los centros de decisión o a disciplinas de escasa tradición.
Proceder con arbitrariedad. En un estudio clásico (Science, 214:881-886, 1981), Stephen y Jonathan R. Cole señalaron que, en los EE.UU., el 30% de los resultados de una evaluación se modifica si cambia el evaluador. Contribuyen a valoraciones arbitrarias cierta tendencia a preferir la forma de presentación por sobre la calidad y a dejarse influir el evaluador por su adhesión a una determinada corriente de opinión sobre un tema científico. Como consecuencia de lo segundo, una personalidad dominante puede imponer su modo de ver al resto de una comisión evaluadora y distorsionar sus decisiones, al punto, incluso, de dar lugar a la formación de “carteles” (o, en el argot vernáculo, trenzas ), que beneficien sólo a quienes compartan determinados criterios.
Evaluar la producción de un científico aplicando sólo criterios cuantitativos, sin considerar su calidad.
Las deficiencias del juicio de los pares conducen a injusticias para con las personas y tienden a consolidar desigualdades del desarrollo relativo de disciplinas o regiones, así como a promover una investigación rutinaria y repetitiva, todo lo cual afecta negativamente al quehacer científico. Las distorsiones se exacerban cuando el número de investigadores meritorios es mucho mayor que los razonablemente financiables con el dinero disponible; si esta relación excede un cierto límite, la capacidad de seleccionar unos pocos de entre los muchos postulantes calificados superará la facultad de discernimiento del evaluador más competente. En tal caso, se puede optar por elegir de todos modos unos pocos o por distribuir entre todos los meritorios sumas de dinero mucho menores que las que requieren. Ambas soluciones, como se aprecia, indican que la insuficiente financiación de la investigación contribuye directamente a que se cometan arbitrariedades en la gestión de la ciencia.
Suponiendo que haya un aceptable nivel de financiación, hay varios modos de evitar -o por lo menos disminuir- las distorsiones señaladas. Uno es instituir partidas presupuestarias con fines específicos, que se asignen, cada una, independientemente de las otras; por ejemplo, establecer financiación para investigadores jóvenes, para temas de frontera, para cuestiones interdisciplinarias o para disciplinas y regiones de menor desarrollo relativo. Muchos sistemas científicos cuentan con instmmentos de este tipo. Por otra parte, las acciones arbitrarias de las personas se atenúan constituyenno comités en los que participen representantes de las diversas corrientes del pensamiento científico, renovando periódicamente sus integrantes y haciendo valer el ya mencionado derecho de apelación de los evaluados. Es, además, crucial que todos los procedimientos se realicen a la luz del día (los norteamericanos llaman a ciertas leyes sobre el carácter público de los actos gubernamentales sunshine laws), es decir, que estén abiertos al escrutinio de todos los interesados.
Existe consenso acerca de que el criterio principal para evaluar a un científico es su contribución a la creación de conocimiento, juzgada sobre la base de la calidad de sus publicaciones, y que otras actividades -como la docencia o su capacidad de organizar proyectos de investigación- no bastan para substituir la falta de producción, sin embargo, la evaluación de la producción científica también está sujeta a distorsiones. Sidney Brenner, uno de los fundadores de la biología molecular, señaló la más importante cuando expresó (Current Biology, 5:568, 1995): En nuestros dias las publicaciones […] son sometidas a un escrutinio microscópico, pero, desgraciadamente, no para conocer su contenido científico. Su inquietud se refiere a la creciente tendencia de valorar la producción científica mediante criterios meramente cuantitativos, en particular, la cantidad ue artículos publicados, las veces que estos fueron citados por colegas y la ubicación de las revistas en un ranking basado en el número promedio de citas de sus artículos. Quienes adhieren a tales criterios señalan que los avances de la ciencia contemporánea, por lo general, han provenido de científicos de alta productividad, se han difundido en revistas importantes y han sido citados frecuentemente. Agregan que el científico debe publicar sus resultados con un cierto ritmo, preferiblemente en las revistas que sean más consultadas -cuyos criterios para aceptar artículos sean más estrictos, pues ello constituye una instancia previa de juicio de los pares- y que las citas por parte de otros prueban el interés despertado por los trabajos.
Estas afirmaciones presuponen erróneamente que publicar mucho en buenas revistas y ser citado frecuentemente es prueba suficiente de calidad, que hace innecesario conocer más sobre la producción de un científico. En relación con esto Brenner comenta: Hoy en dia, Dios nunca obtendría un subsidio. Algún miembro del comité se lo denegaria con el argumento de que su trabajo se realizó hoce mucho tiempo; otro confirmaría tal juicio agregando que nunca fue repetido. El rechazo, finalmente, queduria asegurado por un tercer miembro, que señalaria que, además, el trabajo fúe publicado sin el adecuado referato. Nótese que ninguno de los tres árbitros hace referencia a la calidad del trabajo de Dios, en lo cual reside, justamente, la principal, objeción al análisis meramente cuantitativo o numérico de la producción de un científico. La pretensión de convertir a tales procedimientos en una disciplina científica -con el nombre de epistemometría o scientometrics-, que proporcione un método infalible para evaluar a los investigadores, es riesgosa. Otra vez Brenner: Antes de que el análisis de la citas se convierta un una pseudociencia, debemos recordar que lo único de importancia absoluta es el contenido científico de un artículo, y que nada puede reemplazar el conocerlo o leerlo. Cabe agregar que si se evalúa únicamente mediante el análisis numérico se estimulará que se realicen mayoritariamente investigaciones sobre temas que garanticen numerosas publicaciones y citas: que sean lo suficientemente ortodoxos como para no tener problemas con los editores de las revistas y estén lo suficientemente de moda como para ser citados por muchos. Esto no garantiza que se produzcan genuinas contribuciones al conocimiento, las cuales, en muchas ocasiones, exigen ensayos o estudios preliminares que reducen la frecuencia de las publicaciones y generan resultados que pueden ser o suficientemente ajenos a los paradigmas vigentes como para despertar las sospechas de muchos editores y no recibir suficientes citas de colegas.
Distribuir fondos con equidad y de un modo que promueva la mejor ciencia es tarea complicada y que requiere constante control. El juicio de los pares parece el procedimiento más adecuado para llevarla a cabo, pero debe ser vigilado para evitar distorsiones que neutralicen o inclusive subviertan sus objetivos.
Parte de lo discutido en este editorial fue analizado en la mesa redonda sobre ética e investigación científica cuya crónica se publica en este número.
Los lectores con acceso a la world wide web (www) de la Internet pueden examinar el facsímil de una de las tres copias de la Carta Magna que aun se conservan, su traducción al inglés del original en latín, comentarios y bibliografía adícional en la British Líbrary, usando el comando http://portico.bl.uk/ La traducción al Castellano de las dos cláusulas citadas es: Ningún hombre libre será prendido o apresado o desposeído o exiliado o de alguna forma destruido, ni lo perseguiremos o mandaremos perseguir, excepto por el juicio legal de sus pares o par la ley del país. A nadie venderemos ni negaremos ni demoraremos derecho o justicia. La Internet también da acceso a las publicaciones de la National Science Fundation (NSF): http://www.nsf.gov
Los comentarios sobre la distorsión del juicio de los pares están en parte inspiradas en la ponencia presentada por Daniel N. Newlon, director del programa de economía de la NSF, en la reunión Institutional and Entrepreneurial Leadership in the Brazilian Science and Technology Sector. Setting a New Agenda, celebrada en Washington en mayo de 1995. En la www existe abundante literatura sobre el tema, a la que se puede acceder usando palabras clave, como peer review.
En 1994, la Government Accounting Office de los Estados Unidos, cuya función es controlar el uso de los recursos públicos, analizó el funcionamiento de las agencias federales de promoción de la ciencia. Luego de estudiar centenares de casos y de entrevistar a numerosos científicos y funcionarios, concluyó -en un documento que es de dominio público- que, a pesar de que el juicio de los pares estaba operando razonablemente bien, era necesario realizar ajustes para asegurar su equidad. Como consecuencia, la NSF organizó reuniones con científicos y solicitó de la comunidad académica sugerencias sobre el asunto. El proceso de autocrítica continúa en curso.
