Introducción

Estudios recientes en altmetrics cuestionan las altas expectativas que han levantado las redes sociales en relación a su capacidad para medir el impacto social de la actividad científica. Numerosos expertos en evaluación destacan que la evaluación del impacto social no debe emplear métodos similares a los empleados en la evaluación del impacto científico, basados en citas. La evaluación debe estar orientada hacia la formación y no a la auditoría, y debe centrarse en procesos de implicación y compromiso social que puedan tener un impacto social. En consecuencia, las altmetrics se podrán emplear para asesorar el impacto social de la ciencia si adoptan una perspectiva basada en ‘interacciones’ que analice las redes formadas por investigadores con otros actores sociales. En esta entrada de blog presentamos algunos análisis experimentales en los que utilizamos datos de Twitter para ilustrar nuestra propuesta.

¿Pueden ser las altmétricas útiles para la evaluación del impacto social?

Frente a la demanda de metodologías para asesorar el impacto social de la ciencia, muchos han presentado las altmetrics como una posible solución. No obstante, las altas expectativas que han despertado están siendo fuertemente criticadas. Algunos expertos como Sugimoto indican que “las redes sociales han abierto un nuevo canal para mantener conversaciones informales entre investigadores, en lugar de conectar la comunidad investigadora con el resto de la sociedad”, añadiendo que no debe confundirse impacto social con atención en las redes sociales. En una revisión de la literatura, Haustein concluyó que los indicadores altmétricos pueden ser un indicio de distintos fenómenos, incluyendo impacto científico, educativo, ruido, visibilidad o impacto social, dependiendo del tipo de red social y el contexto social que se analice. Estas ambigüedades plantean serias dudas acerca de la capacidad de las altmetrics para evaluar el impacto social.

Nuestra propuesta considera que los datos altmétricos pueden ser útiles para medir el impacto social, pero sólo si se modifica el objetivo de las evaluaciones. Actualmente, muchas evaluaciones se centran en el impacto científico y la ‘excelencia’, por lo que siguen una lógica de auditoría consistente con los indicadores bibliométricos basados en número de citas recibidas. La mayoría de los indicadores altmétricos actuales son novedosos en la medida en que emplean datos de redes sociales, pero tienden a seguir una aproximación tradicional de la bibliometría basada en el conteo de citas, asumiendo implícitamente que el objetivo de la evaluación es rendir cuentas y reflejar la productividad del investigador: cuanto más se tenga (artículos, citas, tuits, entradas de blog…), mejor. La gran diversidad de redes sociales, su heterogeneidad y la variable cobertura de los datos altmétricos, hacen que sus resultados no puedan generalizarse como se hace normalmente en bibliometría (cuestión también muy discutida y que tal vez esté causando efectos no deseados).

Sin embargo, existen modelos de evaluación del impacto social como son ASIRPA, SIAMPI o PIPA, que adoptan una lógica de aprendizaje en lugar de auditoría. Es importante resaltar que nuestro interés aquí recae en la parte ‘social’ del impacto (entendido de manera amplia como la generación de innovaciones o cambios de comportamiento). La investigación es sólo una parte dentro de los muchos factores interrelacionados que provocan un impacto social, por lo que no tiene sentido intentar evaluar la magnitud del impacto atribuible a la investigación. La harina y los huevos contribuyen en la elaboración de un buen bizcocho, pero ¿tiene sentido atribuirle a cada uno de los ingredientes y de manera separada todo el mérito? Un buen bizcocho depende de los ingredientes, pero también de cómo se combinaron o del tiempo de cocción. Su sabor es resultado tanto del proceso como de los ingredientes empleados. Y más no siempre es mejor: si añadimos demasiada sal, limón o canela, o lo dejamos en el horno más tiempo de la cuenta, ¡el bizcocho puede acabar en desastre!

Es por ello que aproximaciones como SIAMPI y ASIRPA resaltan la importancia de comprender las interacciones que se producen entre investigadores y actores sociales. Son los procesos que tienen lugar en estas interacciones los que constituyen los mecanismos que producen el impacto social. A este tipo de metodologías de evaluación nos referimos como aproximaciones basadas en interacciones. El objetivo es entender cómo los investigadores participan e interactúan con el entorno social para así apoyar y mejorar los mecanismos que producen el impacto social. Para ello, analizamos las redes que contribuyen a dicho impacto. Este énfasis en el contexto, las interacciones y las redes, contrasta con un énfasis en resultados y en ‘conteo de citas’, tal y como ilustra la tabla 1.

Tabla 1. Diferencias entre las perspectivas basadas en citas e interacciones para evaluar el impacto social.

Figura 1. Redes de interacción de dos investigadores (no se muestran los nombres) basadas en los datos de seguidores y seguidos de Twitter. El color de los nodos representa el tipo de afiliación institucional.

Estas redes nos permiten entender el contexto de los investigadores y su potencial participación con actores sociales. El Investigador 1 muestra una red cohesiva caracterizada por su enfoque internacional y exclusivamente académico. La red del Investigador 2 incluye a actores locales de distintos sectores (45% no son académicos), con presencia tanto del sector público como el privado. A través de fuentes de información complementarias, sabemos que el Investigador 1 tiene un perfil académico, aunque realiza consultaría privada (¡Ojo! Estas consultorías no quedan reflejadas en la red). Por su parte, el Investigador 2 está integrado en la comunidad de política científica local, tal y como refleja la red.

Estos ejemplos muestran que, aunque las redes no reflejan directamente la implicación social de los investigadores, sí que sugieren contextos de interacciones entre investigadores y actores sociales.  Es por ello que pueden resultar útiles para identificar potenciales estudios de caso. Estas visualizaciones facilitan el cambio conceptual de una evaluación lineal de atribución a una evaluación de contribución al impacto.

En resumen, perspectivas basadas en ‘interacciones’ como SIAMPI o ASIRPA señalan que la evaluación del impacto social no debe tener un enfoque de auditoría como ocurre con la evaluación científica. La falta de robustez, la heterogeneidad y la variabilidad en la cobertura de las altmetrics hace que sea muy problemática la perspectiva basadas en menciones que plantean a la hora de medir el impacto social. Sin embargo, la diversidd y riqueza que ofrecen los datos altmétricos los convierten en una fuente muy interesante para capturar indicios de participación social que ninguna otra fuente de información puede ofrecer. Las perspectivas altmétricas basadas en interacciones  utilizando análisis de redes u otros métodos de visualización (ver por ejemplo la propuesta de Costas) pueden permitir que el uso de las redes sociales escape de las presiones políticas enfocadas en auditar el impacto y permitan un uso responsable y útil de las posibilidades que ofrecen las redes sociales.

Esta es la versión en castellano de un post publicado en LSE Impact Blog.