L’avaluació és essencial en la gestió de la ciència, com a instrument per a la contractació d’investigadors, la distribució de recursos econòmics i la monitorització de la recerca i dels seus efectes sobre la societat. Es tracta, però, d'un exercici controvertit: a causa de l'especialització de la recerca, només els investigadors d'una mateixa especialitat científica (els pars o experts) són capaços de jutjar el valor de les contribucions científiques. Fins i tot científics de la mateixa disciplina però diferent especialitat no tenen prou expertesa per fer una avaluació competent.

El gran problema de l'avaluació per pars és la possibilitat que els experts sucumbeixin en pràctiques de favoritisme, per exemple donant suport a investigadors amb qui tenen relacions personals o institucionals. Com que el nepotisme gaudeix d'una llarga tradició en molts països (per exemple els d’arrel catòlica apostòlica romana), la revisió per experts genera sovint sospites de corrupció.

Davant d'aquesta situació, molts gestors van creure veure en els indicadors quantitatius un mètode objectiu i rigorós d'avaluació per a donar suport a processos de modernització i internacionalització. Efectivament, indicadors bibliomètrics com el nombre d'articles o l’impacte de cites són informatius sobre la producció i la influència científica, i permeten comparacions internacionals. Però el seu ús correcte és més difícil del que molts avaluadors creuen. Com que les normes de publicació i citació difereixen segons el context, els valors de referència dels indicadors poden variar en ordres de magnitud (10 o 30 vegades) segons el camp científic o tema, la llengua, o el rang institucional de la persona avaluada. Cal escollir indicadors que siguin apropiats per a cada avaluació i calibrar-los adequadament. Sense aquestes calibracions, les mesures estan esbiaixades i poden menystenir certs tipus de recerca, per exemple la ciència experimental davant la teòrica, o la local davant la general. Decisions basades en indicadors esbiaixats no reflecteixen adequadament els criteris d'avaluació.

A la pràctica, en poques ocasions s'utilitzen només indicadors bibliomètrics per avaluar. Tanmateix, la gran difusió d'eines com Web of Science, Scopus o Google Acadèmic ha fet que processos d'avaluació, suposadament de revisió d'experts, estiguin avui molt influïdes per un ús informal i sovint incorrecte dels indicadors. Per exemple, en una avaluació per experts d'una beca, un revisor justifica la seva bona puntuació del candidat perquè és autor d'articles d '"alt factor d'impacte (entre 2 i 3)" sense explicar quin és el camp científic que pren de referència (en medicina aquest seria un factor d'impacte baix). El que aquest cas demostra és que la disjuntiva entre indicadors i revisió per experts és falsa: el problema més comú és una mala revisió per experts utilitzant mala bibliometria!

En resum, que avui en dia l'ús sense rigor d'indicadors està molt estès i hi ha el risc que avaluacions influïdes per indicadors inapropiats donen lloc a valoracions injustes i males decisions.

Com a resposta a l’abús creixent dels indicadors en avaluació, s'han llançat recentment dues iniciatives. La primera és el Manifest de Leiden, del qual sóc coautor, un decàleg de principis a seguir per al bon ús d'indicadors en avaluació, publicat l'abril a Nature. La segona és un informe de Consell de Finançament de l'Educació Superior d'Anglaterra (HEFCE), publicat el juliol.

La filosofia subjacent en el Manifest i l'informe HEFCE és semblant: la cientometria pot enriquir l'avaluació però requereix un ús apropiat i un procés acurat. La millor avaluació, la més rigorosa i plural, és aquella en la qual la bibliometria dóna suport a l’avaluació d'experts. La raó és que els indicadors quantitatius només prenen sentit quan s'interpreten en un context específic: disciplinari, sectorial, geogràfic. Per exemple, els experts han de decidir i interpretar quins indicadors són vàlids vista la missió de la investigació avaluada (astrofísica, agricultura o salut requereixen indicadors diferents), o si el caràcter local d'un tema (local: poc susceptible d'atreure cites) fa difícil la comparació amb temes d'interès general.

Una segona consideració és que els avaluats tenen dret a la transparència: a comprendre quines dades es fan servir i com es calculen els indicadors que els avaluen. En tercer lloc és molt important reconèixer els límits de precisió dels indicadors -raó per la qual a nivell individual, on els indicadors tenen poca validesa i molta volatilitat, cal jutjar qualitativament. Finalment, el Manifest i l'informe HEFCE recomanen fer atenció als efectes, de vegades inesperats i perversos, que els indicadors tenen sobre el comportament dels investigadors. Hi ha el perill que els indicadors es converteixin en objectius per ells mateixos.

El nepotisme al que pot abocar-la revisió per experts, no hauria de ser substituït per un ús rígid o arbitrari dels indicadors bibliomètrics. Contraposar males pràctiques de revisió amb mala bibliometria és una pèssima solució. La cientometria pot jugar un paper important en l'avaluació científica, però com a suport a la revisió d'experts. Per a reeixir en aquest objectiu, el seu ús ha de ser humil, transparent i rigorós, atent a la diversitat de la investigació i reflexiu a l'efecte que puga generar.

Aquest text fou publicat a la revista Investigación y Ciencia en la seua edició de Setembre de 2015: Ismael Ràfols (2015) El Manifiesto de Leiden. Hacia un mejor uso de los indicadores en la evaluación de la ciencia. Investigación y Ciencia, 468, p. 48.