La ciencia académica sufre desde hace unos años una enfermedad que consiste en un enorme aumento del número de publicaciones científicas sin el correspondiente avance del conocimiento. Los hallazgos se cortan en rodajas tan finas como el salami y se envían a diferentes revistas para producir más artículos.
Estos logros espurios de la Academia, representados por montañas de publicaciones no apreciadas y no leídas, son sin duda un despilfarro de artículos de solo escritura. Es un proceso de publica-y-perece en el que la mayoría de los trabajos se pierden.
Si consideramos los artículos académicos como una especie de moneda científica respaldada por lingotes de oro en el banco central de la ciencia verdadera, estamos asistiendo a un fenómeno de inflación de artículos, una auténtica burbuja cienciométrica.
La situación fue descrita ya en 1981 en la revista Science, con una crítica a la reducción de la longitud de los artículos y al abuso de las llamadas unidades mínimas de publicación (LPU por sus siglas en inglés). Las cosas han ido a peor desde entonces.
Por qué son necesarias las publicaciones científicas
No cuestionamos la necesidad de publicar los resultados científicos. La ciencia es un asunto público que debe ser discutido en la plaza pública, es decir, en talleres, conferencias y revistas científicas.
Además, hoy en día cualquiera puede publicar cualquier cosa en cualquier rincón de la red global. Por lo tanto, es beneficioso un filtrado previo por parte de un comité de programa o un consejo editorial responsables.
El filtrado añade valor en tanto que el núcleo de la ciencia (el lingote de oro) se hace más accesible… porque se mantiene pequeño. Así pues, cuanto más grande y menos filtrada sea la burbuja, menos accesible será el núcleo.
Las publicaciones científicas deberían ser un remedio para la sobrecarga de información (término popularizado por Alvin Toffler en su libro de 1970 El Shock del Futuro). Por el contrario, la Academia ha creado una necesidad artificial de publicar, no para el avance del conocimiento, sino para el avance de las carreras profesionales. La Academia ha sucumbido a la infoxicación.
Las métricas de productividad científica
La ciencia es cara. Los gobiernos y los inversores privados esperan, con razón, que pagar los salarios de los científicos sea rentable. Por tanto, es deseable promover a los buenos científicos y centros de investigación, al tiempo que se desalienta a los malos.
Ahora bien, en nuestra moderna sociedad industrial pensamos que podemos lograr este objetivo midiendo la productividad. Pero la productividad científica no se parece a la productividad industrial. Las ideas no se pueden medir como los ladrillos.
Las actuales métricas de productividad científica tienen como objetivo evaluar la calidad de las publicaciones y, a través de ellas, la calidad del investigador.
La calidad de una publicación se estima con el factor de impacto de la revista donde aparece, que es el número de citas que han recibido otros artículos en la misma revista en los últimos años. Los supuestos implícitos en este procedimiento de medición son:
1. Una publicación es buena si se publica en una buena revista.
2. Una revista es buena si ha merecido suficiente atención de los científicos.
En otras palabras, se supone que existe una correlación positiva entre el factor de impacto y la calidad científica. La idea es interesante, pero tiene muchos efectos secundarios negativos: se favorece la popularidad sobre la calidad, se promueve la ciencia rápida, se provoca el efecto Mateo, se destruyen los foros locales y regionales, etc.
La raíz del problema
El principal problema que subyace a todo esto es que el factor de impacto es utilizado como indicador de calidad. Los partidarios de la cienciometría argumentarán que, a pesar de todas sus deficiencias, es el mejor sistema que podemos tener, porque se basa en mediciones objetivas. Esto nos recuerda al borracho que buscaba las llaves bajo la farola porque era el único sitio donde había luz, aunque en realidad las había perdido a varios metros de distancia.
La cienciometría presenta la inevitable tendencia que tiene todo indicador de rendimiento a medir lo que se puede medir, y dejar de lado lo que no se puede medir, de modo que lo medible adquiere una importancia desmedida.
La cienciometría puede probablemente evitar algunos de sus peores efectos mejorando los sistemas de medición. Pero, al final, el problema en sí es la concepción de la Academia como un sistema retroalimentado. El problema está en empeñarse en medir la productividad científica, y retroalimentar el sistema con esas mediciones. Esto es justamente lo que enuncia la Ley de Goodhart: cuando una métrica de evaluación se convierte en objetivo, deja de ser una buena métrica.
Lo medible adquiere una importancia desmedida. Arielrobin / Pixabay
Es prácticamente inevitable: los científicos y los espacios de publicación se adaptarán para asegurar su propia supervivencia, desarrollando estrategias como la ciencia salami, las autocitas y las citas de amigos, etc.
Todas estas estrategias se combinan para crear una cultura poco ética y anticientífica en la que se premian demasiado las habilidades políticas y demasiado poco los enfoques imaginativos, las ideas heterodoxas, los resultados de alta calidad y los argumentos lógicos. Y todo contribuye a inflar la burbuja cienciométrica y hacer menos accesibles los lingotes de oro de la ciencia más valiosa.
No podemos prescindir del juicio humano
Solo hay una manera de salir de este círculo vicioso: reconocer que la calidad es algo que esencialmente no se puede medir, que está más allá de los números y los algoritmos, que solo puede ser juzgado por humanos a pesar del carácter falible de su juicio.
El postulado de que existe una correlación positiva entre el factor de impacto y la calidad científica está lejos de haberse demostrado. La creencia de que las estadísticas de citas son intrínsecamente más precisas que el juicio humano y, por tanto, superan la posible subjetividad de la revisión por pares, es infundada: “Utilizar solo el factor de impacto es como utilizar solo el peso para juzgar la salud de una persona”.
Sin duda, las medidas objetivas pueden ayudar al juicio humano. Pero nos engañamos si pensamos que podemos evitar la corrupción y lograr una justicia ciega utilizando fórmulas matemáticas.
No existe una solución algorítmica al problema de la medición de la calidad científica. Por eso la Declaración de San Francisco sobre la Evaluación de la Investigación enfatiza “la necesidad de eliminar el uso de métricas basadas en revistas, tales como el Journal Impact Factor, al decidir sobre financiación, nombramientos y promociones; la necesidad de evaluar la investigación por sus propios méritos y no en base a la revista en la que se publica la investigación”.
Es mucho más fácil recopilar algunas cifras que pensar seriamente en lo que ha logrado un investigador. Como dice Lindsay Waters, es más simple basarse en números anónimos para despedir a alguien o descartar un proyecto de investigación, sin tener que explicarle razonadamente un juicio de valor negativo.
El factor humano en la evaluación de la ciencia
Nuestro principal interés es crear conciencia sobre el problema. Miles de científicos han firmado la Declaración de San Francisco, pero creemos que el mensaje merece ser difundido más ampliamente: la burbuja cienciométrica es poco ética y es perjudicial para la ciencia.
Es perjudicial el valor abrumador que están adquiriendo los números y las fórmulas en el mundo académico, en detrimento de la verdadera evaluación de la calidad de los trabajos individuales. Necesitamos una alternativa a la cultura del publicar o perecer.
Pero claro, evaluar a través de los factores de impacto y el ranking de revistas es tan barato… De hecho, los verdaderos beneficiarios de la evaluación numérica no son ni los investigadores ni la propia ciencia, sino las agencias de evaluación, que pueden sustituir a los científicos (capaces de revisar a sus pares) por meros burócratas (capaces de contar citas).
También hay una amenaza para los valores éticos que afectan a la forma en que un investigador aborda su actividad científica. La perversión en la forma de evaluar la productividad científica estimula al científico a preocuparse por publicar para no perecer, en lugar de obtener un conocimiento más verdadero y fiable.
El investigador, urgido por sobrevivir dentro de este sistema, preferirá la popularidad al valor intrínseco, considerará mejor escoger dónde publicar y no qué publicar.
La obsesión por encontrar métodos cuantitativos y algorítmicos para evaluar la productividad científica esconde una cobardía intelectual: la abdicación del evaluador de su responsabilidad de emitir un juicio personal sobre la calidad científica del trabajo evaluado. El evaluador termina así por convertirse en un obediente pero absurdo burócrata que se limita a aplicar fórmulas matemáticas. Sustituir el factor humano por una métrica objetiva en la evaluación de la ciencia no evitará la corrupción.
Los juicios humanos son falibles, pero al menos no promueven esta burbuja cienciométrica que amenaza con paralizar el avance del conocimiento ocultando los lingotes de oro de la verdadera ciencia bajo una enorme sobrecarga de publicaciones.
Autor@s
Gonzalo Génova. Profesor Titular de Lenguajes y Sistemas Informáticos, Universidad Carlos III.
Anabel Fraga. Prof. Dr. and Researcher, Universidad Carlos III
Hernán Astudillo. Profesor, Universidad Técnica Federico Santa María
Este artículo es una versión traducida y abreviada del artículo The scientometric bubble considered harmful, publicado en Science and Engineering Ethics en febrero de 2016. El lector interesado puede acudir también al manuscrito en español.
Fuente: https://theconversation.com/la-burbuja-de-publicaciones-cientificas-alimenta-la-infodemia-158013