Averigua si eres un científico de alto impacto con altmetrics

Al redactar un paper científico debes trazar un plan, no sólo sobre aspectos metodológicos sino también de comunicación. Es por ello que, lo primero que deberías hacer antes de publicar, sería plantear objetivos definidos sobre la repercusión que pretendes conseguir con tu trabajo para posteriormente tratar de alcanzarlos mediante la elaboración y puesta en marcha de una estrategia. Sin embargo, para esta tarea de difusión no podemos ir a ciegas, necesitamos una brújula, algo que nos indique en tiempo real cómo es nuestra producción científica y su influencia académica. De esta forma, podremos corregir aquellos fallos que pudiéramos tener tanto en la calidad de nuestros trabajos como en nuestras estrategias de comunicación para así aumentar el impacto de nuestro trabajo en la comunidad científica. En el artículo de hoy aprenderás qué son los indicadores altmetrics y cómo puedes utilizarlos para evaluar la calidad y repercusión de tu investigación científica en la sociedad.

altmetrics imagen

¿Qué son las altmetrics?

Los académicos viven todavía en un mundo no adaptado a su tiempo. En realidad, los científicos nunca se han caracterizado por ser “early adopters”. Tradicionalmente el impacto y difusión de los papers científicos en la comunidad académica se determinaba mediante el índice de impacto (para las revistas científicas) y el índice h (para las personas). Estos dos mecanismos se basan en la cantidad de citaciones realizadas sobre el material científico. La razón es que se consideraba que cuando un investigador citaba a otro era indicio de calidad o relevancia. Aunque aparentemente tiene su lógica, actualmente los mecanismos de difusión de la información han cambiado considerablemente. Hay nuevos contextos sociales y académicos que no se tienen en cuenta y que pueden aportar gran cantidad de información sobre la relevancia e influencia de nuestros trabajos en la comunidad científica. Los indicadores altmetrics surgieron por esta razón como alternativa a las formas de evaluación tradicionales que comenzaban a mostrar los siguientes inconvenientes:

  1. La revisión por pares académica era muy lenta en comparación con la velocidad con la que se modifica, revisa y crea información en Internet.
  2. Cada vez cobraba más importancia crear una ciencia más “social” y menos académica en la que el material producido fuese de libre acceso para una mayor difusión (Surgimiento del movimiento open access).
  3. Las citas a estudios sólo eran cuantificadas dentro del mundo académico.
  4. La sociedad se involucraba cada vez más en la labor científica por medio de las redes sociales y la web 2.0
  5. El feedback obtenido mediante los sistemas de evaluación tradicionales (factor de impacto e indice h) tardaba mucho en llegar.
  6. Se daba más importancia al continente (revistas) que al contenido (papers).
  7. Conseguir relacionar el factores de impacto con el índice h era una tarea compleja.
  8. Los sistemas tradicionales no se adaptaban fácilmente al surgimiento de las nanopublicaciones (Twitter), blogging, movimiento big data y a la publicación open access de resultados negativos, bases de datos, posters, resultados, libros de investigación…

Los indicadores Altmetrics (Métricas alternativas) no son la panacea, por así decirlo, están en fase “beta”. No obstante, son mecanismos quizás más adaptados a la actual sociedad de la información. Las Altmetrics se utilizan para evaluar de forma inmediata el impacto académico y social tanto de revistas científicas, como de investigadores, bases de datos, publicaciones y un largo etcétera. Al contrario que las métricas tradicionales ya comentadas, estas no sólo tienen en cuenta las citaciones académicas sino también las menciones en redes sociales, comentarios sobre documentos científicos, enlaces web, descargas, cantidad de veces que un documento es visualizado o marcado como favoritos, alusiones en medios de comunicación… Todos estos factores no se han tenido en cuenta hasta la actualidad; sin embargo, permiten al investigador tener una visión quizás más realista del impacto de su investigación en la sociedad aún contando con las limitaciones que posteriormente veremos.

Altmetrics (Métricas Alternativas)
Las altmetrics son mecanismos de evaluación cuantitativa en tiempo real del impacto social y académico del material y personal científico. Estas métricas tienen en cuenta no solo las citaciones académicas realizadas en textos formales sino también aquellas realizadas en medios informales y no académicos. Miden el impacto individual por cada aportación y no la de su contenedor (ej. Factor de Impacto). Entre los factores evaluados se encuentran: citaciones en textos académicos y no académicos, cantidad de menciones en redes sociales, comentarios sobre documentos científicos, enlaces web, descargas, cantidad de veces que un documento es visualizado o marcado como favoritos, alusiones en medios de comunicación… Constituyen una forma más representativa de la influencia de la ciencia en la sociedad actual de la información.

¿Cuáles son sus ventajas?

ventajas

  • Estimulan la divulgación científica: La presencia de estos sistemas de evaluación hace que los científicos se interesen más aún por comunicar adecuadamente y de forma abierta su trabajo al público no científico.
  • Rápido Feedback: La web 2.0 facilita la instantaneidad y permite al científico averiguar en mucho menos tiempo en que medida su trabajo es relevante. Twittear, comentar en un blog o recibir un comentario online es mucho más sencillo y veloz que publicar un artículo científico referenciado y esperar dos años a que lo publiquen.
  • Facilitan la revisión por pares: Ante una revisión por pares no sólo debería tenerse en cuenta la información de un único referee sino también aquella procedente de la masa de personas que podrían leer y comentar tu artículo en Internet mucho más rápidamente y con amplios puntos de vista. Las altmetrics te permitirían conocer todos estos datos que contribuirían a mejorar tu investigación.
  • Información exhaustiva: No solo tienen en cuenta las citas académicas de toda la vida sino también los nuevos medios de comunicación. Esto permite tener un mejor conocimiento sobre el impacto y relevancia de un documento científico en el mundo académico y social. Las altmetrics permiten conocer si algo se leyó, se comentó, se descargó, se puso como favoritos, se mencionó, se recomendó y proporcionan al científico una información con la que conseguir mejorar o redirigir su actual área de investigación.
  • Ajustadas al panorama tecnológico actual: El factor de impacto y el indice h fueron buenos sistemas. Sin embargo y como hemos comentado, no responden bien ante el nuevo sistema social y tecnológico. Ya no hay un sólo nicho para la ciencia, el público general necesita de una vez por todas enterarse de qué hacen los científicos en sus laboratorios. Es por esta razón, que se hace indispensable comenzar a medir la capacidad de un científico no sólo para hacer ciencia sino también para comunicarla adecuadamente. Para este fin, las altmetrics son una herramienta esencial.
  • Permiten encontrar colaboradores para tus trabajos: En base al feedback obtenido, el investigador puede encontrar colaboradores adecuados mucho más rápido para llevar a cabo un determinado proyecto.
  • Permiten una evaluación basada en el contenido y no en el continente: Lo que quiero decir con esto es que las altmetrics se centran en el potencial de difusión de un documento y no sólo de la revista que lo contiene.
  • Facilitan el filtrado de la información: Una mayor cantidad de indicadores cuantitativos elevados sobre el impacto de un paper está correlacionado con una mayor calidad o relevancia de la información contenida en él. Por esta razón, conocer qué documentos o materiales tienen mayor un impacto te permitirá crear estudios de mayor calidad.
  • Potencian la innovación: Las altmetrics permiten obtener información sobre el grado de evolución y el impacto social de un campo científico rápidamente estimulando así la innovación en aquellas áreas que mejores indicadores hayan obtenido.
  • Facilitan la toma de decisiones sobre financiación y promoción: Es difícil tomar una decisión sólo en base a los datos proporcionados por las altmetrics, más aún teniendo en cuenta que están todavía en pañales. Sin embargo, proporciona una excelente información para facilitar las tareas de resolución y promoción de científicos al tener una gran cantidad de datos sobre sus habilidades científico-técnicas y de comunicación.

Averigua qué altmetrics tienes actualmente

altmetrics

Existen estupendas herramientas que te permitirán averiguar en tiempo real cuál es el impacto social y académico de tu producción científica. Muchas de ellas están todavía en desarrollo, recuerda que el concepto “altmetrics” está todavía muy reciente y debe perfeccionarse. Aún así merece la pena que le eches un vistazo a las siguientes webs:

¿Qué limitaciones tienen las altmetrics?

limitaciones

Como te he comentado, este sistema de evaluación aún con un tremendo potencial está todavía en pañales. Hay una serie de defectos y limitaciones que espero que se vayan controlando en la medida de lo posible con el tiempo. Algunas de ellas son las que te comento a continuación:

  • Distintas fuentes y distinta importancia: Vaya por delante que el indicador más importante, al menos para mí, son las citas académicas pues son 100% científicas. Esto no quiere decir que nos debamos limitar sólo a ellas pero tampoco debemos sobrestimar el resto de fuentes y tratarlas todas por igual. Redes sociales como Facebook o Twitter son más importantes que MySpace actualmente ya que tienen una mayor masa crítica científica y no científica. De igual manera, redes como Academia.edu, ResearchGate o Mendeley deberían ser consideradas más relevantes que Twitter y Facebook por la mayor presencia de un público científico. Por tanto, se debería implantar un ranking de fuentes según su importancia relativa para todos los software de fuentes de información. No todas las fuentes e indicadores son válidos y estadísticamente significativos.
  • Impacto Mixto: Puede ser un problema o una ventaja, todo depende del cristal por el que lo mires. Como te comenté, las altmetrics no se limitan a las citas académicas como si hacen los indicadores tradicionales. Esto hace que sean métricas más completas y representativas del impacto científico y no científico. En este punto, está precisamente el inconveniente de las altmetrics. ¿Cómo determinas que una mención de twitter o un “Me gusta”; por ejemplo, se hizo por motivos científicos o bien, familiares, políticos, profesionales, económicos…? Por el momento no hay altmetrics separadas, hasta que no se desarrollen todos los códigos informáticos necesarios todas estarán unidas y aportarán resultados de impacto mixto en el que comparten importancia el impacto científico y social sin demasiada distinción.
  • Obtienen información e indicadores de fuentes muy heterogéneas: Los indicadores altmetrics se basan en información procedente de multitud de fuentes tanto académicas (revistas, papers, repositorios institucionales, redes sociales para científicos, gestores bibliográficos…), como no académicas (Twitter, Facebook, blogs…). Este factor hace que, en ocasiones, las altmetrics sean consideradas como un cajón desastre con métricas difíciles de comparar y agrupar a causa de los diferentes sistemas de cuantificación empleados. Por ponerte un ejemplo: ¿Cuantos “Me gusta” de Facebook equivalen a una cita? ¿Cuantos “retweets” equivalen a un “me gusta”? Como ves, comparar y agrupar estos indicadores es una tarea compleja.
  • Indicadores dependientes de contexto: No todas las áreas de investigación son iguales; es decir, no es igual de importante una métrica en campos poco estudiados que en campos muy relevantes. Hace falta ajustar las altmetrics a los distintos factores contextuales.
  • Falsificación e intervención sobre las Altmetrics: Este es un punto que me gustaría tratar especialmente. Cuando un científico habla de falsificar o intervenir sobre indicadores bibliométricos está haciendo referencia al empleo de técnicas que permitan incrementar la cantidad de citas o métricas en provecho propio (ej. Promoción en redes sociales, blogging, SEO…). Personalmente no veo el inconveniente en esta práctica siempre y cuando las citas o menciones sean lícitas (Que no sean compradas o manipuladas) y el contenido sea riguroso y de calidad para evitar así crear ruido de fondo que dañe la literatura científica. En un anterior artículo hablé de la posibilidad de utilizar técnicas SEO (Search Engine Optimization – Posicionamiento en buscadores) para material científico. A primera vista muchos pueden pensar que esta técnica es un fraude; sin embargo, no utilizar técnicas como está teniendo un contenido de calidad es más un acto de egoísmo y vagancia que otra cosa. Piensa que cuanto más público pueda llegar a visualizar un artículo científico relevante y riguroso más rápido se innovará y más gente podrá beneficiarse de tus hallazgos. Puede que esté equivocado, pero veo mucha carencia de habilidades de comunicación en los científicos que se demuestra, por ejemplo, en el empeño de publicar sin open access, el miedo por los derechos de autor y la falta de habilidades de promoción y divulgación social. Esperemos que poco a poco se vaya avanzando. Aún así debo decir que en este punto y teniendo en cuenta argumentos de ambas partes, es bastante difícil de determinar qué es una táctica lícita y no lícita.
  • Los científicos 2.0 tendrían métricas más elevadas: Aquellos científicos con habilidades de investigación y de comunicación online y offline tendrán mejores métricas que los científicos que carecen de ellas. Esto siempre será así, quien tenga más habilidades será más visible. Es hora de empezar a formarte para conseguir ser uno de estos científicos.
  • Inestabilidad de las fuentes online: Por desgracia, las empresas tecnológicas son bastante inestables. Muchas cierran a los pocos años y cambian su estatus a una velocidad de vértigo (ej. MySpace). Esto hace difícil establecer métricas adecuadas que permanezcan en el tiempo, e impide establecer un sistema fiable y replicable.
  • Inestabilidad de la información: Cada tres días se produce una cantidad de información semejante a la que se produjo desde los inicios de la humanidad hasta el año 2000. Con esto la información se vea rápidamente remplazada e incrementa la brevedad en su disponibilidad.
  • Dificultad al estandarizar tweets, menciones, comentarios: Formas de realizar menciones y citas hay muchas. Afortunadamente en el mundo académico es fácil de realizar, siempre hay un patrón según el estilo bibliográfico que utilices. Sin embargo, en los medios no académicos no existen sistemas de estandarización lo que puede hacer aún más complejos los sistemas de evaluación bibliometrica del material científico.
  • Las altmetrics nos dicen poco acerca de la calidad de un trabajo, hay que leer los documentos: Por lo general, los científicos siempre han sido bastante fundamentalistas. O todo o nada, de un polo u otro. Estoy de acuerdo con que para comprobar la calidad de un trabajo, al ser un concepto bastante subjetivo, hay que leerlo, no hay vuelta de hoja. No obstante, y a pesar de que apoyo totalmente el hecho de leer los documentos, actualmente los científicos no van sobrados de tiempo. Las altmetrics pueden ser un sistema perfecto de filtrado para elegir, en primer lugar, aquellos papers potencialmente más relevantes en base a la cantidad de citas y comentarios realizados sobre ellos. Puede que con este sistema quede material muy relevante en el tintero en el que haya que profundizar pero de primeras ya tenemos conocimiento de aquel material que nos permitiría cumplir completamente la ley de pareto.
  • No se puede establecer como un sistema de evaluación de objetivos: Muchos plantean que no se puede utilizar las altmetrics para tomar decisiones sobre el personal investigador. Yo opino igual, actualmente muchos científicos no usan todavía activamente las redes sociales. A pesar de que sería una práctica muy importante, no les vamos a poner una pistola en el pecho y obligarles. Si bien no debería usarse como un sistema de decisión si debería hacerse como un sistema de información. Aunque de momento ANECA no vaya a hacer caso a estos indicadores, las altmetrics son un mecanismo ideal para obtener información que permita mejorar la calidad docente e investigadora que no se debería desaprovechar.

¿Hablamos?

En este artículo hemos visto cómo los indicadores altmetrics suponen un gran avance para la ciencia. Permiten tener una visión más clara del impacto de un documento o un científico tanto en el mundo académico y social para así tomar mejores decisiones en base a la información obtenida. El mundo científico y social está cada vez más fusionado, es por tanto necesario tener también en cuenta estos segundos aspectos si queremos conseguir una sociedad más crítica, lógica y científica. Ahora te toca a ti: ¿Estás a favor o en contra de las altmetrics? ¿Crees que tienen potencial? ¿Cuál crees que es su limitación o ventaja más importante? ¿Piensas comenzar a tenerlos en cuenta a partir de ahora? Recuerda que si te ha gustado este artículo puedes suscribirte más abajo para recibir en tu email los mejores contenidos para formarte y desarrollar tus habilidades como científico 2.0.

  • […] Origen: Averigua si eres un científico de alto impacto con altmetrics […]

  • […] Margolles, Pedro (2014). Averigua si eres un científico de alto impacto con altmetrics. http://www.neoscientia.com/altmetrics/ […]

  • Y no olvidemos que a través de las Altmetrics se puede conseguir aumentar las citas de tus artículos.
    Enhorabuena por este artículo, muy bien contado. Gracias

    • Hola TG,

      ¡Por supuesto! Las Altmetrics te pueden ayudar mucho a conseguir citas tanto de tus artículos como otro tipo de producción científica indirectamente. Conocer la repercusión de tu trabajo te puede hacer gestionar mejor tu estrategia de comunicación e incrementar tu impacto en la comunidad científica. Me alegra que te haya gustado TG. Por favor, sigue visitando NeoScientia 😉

      Un saludo

  • >