L’avaluació de la recerca necessita una dimensió local
por Ismael Rafols, INGENIO [CSIC-UPV]
La ciència moderna sempre ha tingut un ethos universal: les contribucions científiques més valorades són les que expliquen molt amb molta simplicitat. Per exemple, les equacions de Maxwell de l’electromagnetisme o la codificació de la vida en el ADN. Principis simples que poden ser universalment utilitzats ens ajuden a navegar en la complexitat del món. El coneixement d’ús general és així sovint percebut com a més important que la recerca de temes particulars.
Aquest ethos d’universalitat en la ciència afecta els criteris d’avaluació, i posa en una situació de desavantatge la recerca enfocada al coneixement local – coneixement sobre contextos i comunitats específics. Criteris implícitament utilitzats en avaluacions, com el prestigi internacional, poden afavorir el coneixement general per sobre del coneixement local. Sol passar, per exemple, que contribucions científiques per a un medicament terapèutic cardiovascular (d’immediata aplicació arreu del món) siguen percebudes com a més importants que programes d’intervenció sanitària primària desenvolupats en i per a comunitats específiques (d’incerta aplicació en altres contextos).
El prejudici contra la recerca d’àmbit local en l’avaluació és un problema en la mesura en què actua com a desincentiu per a recerca que podria ser considerada important: per exemple sobre productes agrícoles minoritaris com la xufa o la quinoa. Cal trobar, doncs, maneres d’apreciar el valor del coneixement local, però per a fer-ho, hem de repensar alguns dels nostres pressupostos sobre la ciència.
En primer lloc, hem de reconèixer que la majoria de les activitats que es duen a terme en universitats o centres de recerca no són “ciència” en el sentit universalista sovint usat en les ciències naturals. Molts camps acadèmics tracten sobre coneixement que és explícitament específic, particular i sovint local: tecnologies per a sectors industrials concrets (nanotecnologia per al tèxtil), temes socio-econòmics puntuals (la revolució del petroli a Alcoi), manifestacions culturals úniques (el misteri d’Elx). Per tant, el valor percebut de certa recerca dependrà de la importància relativa que es dóna a aquests contextos, sectors o temes particulars.
Els contextos xicotets poden eixir malparats dels processos d’avaluació: als investigadors de gestió que usen dades britàniques els serà més difícil publicar en revistes d’alt prestigi que no pas als que usen dades nord-americanes; els erudits en literatura occitana poden ser vistos com menys importants que els erudits en literatura francesa. Les desavantatges poden afectar no només temes d’àmbit geogràfic reduït, sinó també contextos o temes que són menys visible (que semblen “petits”) a causa d’alguna desigualtat. Recerca sobre els efectes de la pol·lució en barriades perifèriques o malalties com la leishmaniosi poden tenir menys impacte científic perquè afecten poblacions pobres o menys visibles. Aquests temes reben menys inversió i generen menys publicacions, la qual cosa dóna lloc a menys cites i menys prestigi –un peix que es mossega la cua.
Aquestes consideracions ens porten a pensar que l’avaluació d’una bona part de la recerca ha d’anar més enllà de la revisió per pars (peer review) i incloure la participació dels grups afectats (stakeholders).
Un equip d’avaluació que incloga tant els experts com els actors socials locals té més capacitat per a jutjar el valor contextual del coneixement produït. Pot preguntar-se, per exemple, si certa recerca genòmica d’última generació investigada a Buenos Aires sobre la malaltia de Chagas és percebuda com a útil o no per al tractament de Chagas a les províncies argentines que la pateixen.
Al Regne Unit hi ha molts exemples d’aquesta pràctica: els comitès de revisió del seu exercici d’avaluació (Research Excellence Framework, REF) inclouen membres de la indústria i grups cívics; les propostes de projectes per als Consells de Recerca britànics (Research Councils) han de descriure “els camins d’impacte” amb la participació d’agents socials diversos. Tanmateix, és qüestionable que exercicis d’avaluació de natura centralitzada i nacional com el REF siguen capaços de de jutjar recerca local la recerca local, perquè inevitablement no inclouen stakeholders locals sinó representants a nivell nacional.
La dificultat d’avaluació rau en què, com que cada contribució necessita ser avaluada per als seus potencials usuaris, mètodes generalitzats com el REF no són capaços de fer front a la gran diversitat de contextos locals. En la mesura en què la major part de la recerca té un caràcter contextual la seua avaluació hauria d’incloure diversos actors socials. Açò pot semblar un argument per al xovinisme. Tanmateix, el valor del coneixement local va més enllà del valor directe que té per a una comunitat – en particular, en relació als grans reptes socials de natura complexa. Grans reptes socials com l’envelliment, les migracions, pandèmies, la seguretat alimentària o el canvi climàtic necessiten abordatges diversos i a escales múltiples.
En molts sistemes complexos, per a comprendre els efectes i les tendències globals cal entendre les condicions locals. Per exemple, per a pensar en la difusió de les epidèmies de malalties de transmissió sexual en un territori cal comprendre les diferents xarxes de relacions sexuals en les seues diverses cultures i comunitats les quals poden diferir significativament entre grups socio-culturals. Degut als efectes no lineals en dinàmica de xarxes, canvis les pràctiques d’un grup específic com el de treballadores sexuals, pot tindre un gran efecte la difusió de la malaltia en tot el territori. És a dir que en general, en condicions de complexitat, la importància del coneixement contextual va més enllà de les comunitats locals perquè els detalls locals poden ser crucials per a entendre els efectes globals. I tant la validesa com la vàlua del coneixement han de ser avaluats per els actors afectats tan a nivell local com global.
En resum, una avaluació justa i apropiada de la recerca local és un imperatiu tant per a donar suport a comunitats oblidades o desfavorides com per a encarar reptes globals. Ens calen nous mètodes i nous instruments de policy per a valoritzar recerca que és excel·lent des d’una perspectiva local. I haurem de desenvolupar aquests instrument conjuntament amb les comunitats locals afectades.
(Una versió anterior d’aquest article fou publicada a la revista britànica Research Fortnight el 8 de juliol del 2015).
Lectures relacionades: Manifest de Leiden per una correcta avaluació mètrica de la recerca, Reception of Spanish sociology by domestic and foreign audiences differs and has consequences for evaluation