# Técnicas de evaluación con Bibliometría Narrativa
<center><img src="https://raw.githubusercontent.com/Wences91/teaching/main/images/ec3metrics/ec3_logo.png" style="width:30%"></img></center></br>

## Introducción
La Bibliometría Narrativa es una innovadora herramienta de evaluación en el ámbito académico que integra **indicadores bibliométricos** en **narrativas explicativas**. Este enfoque permite defender y contextualizar los CV, detallando los méritos, la atención, la difusión y la influencia de las contribuciones científicas, evitando la simple cuantificación.

Este curso presenta y explora esta metodología en detalle, proporcionando las habilidades necesarias para aplicar la Bibliometría Narrativa.

## Objetivos
1. **Entender el contexto evaluativo actual**: Analizar los manifestos y la transformación que ha tenido lugar a nivel nacional en los criterios de evaluación académica.
2. **Diferenciar la Bibliometría Narrativa de las políticas previas**: Identificar claramente las diferencias entre la Bibliometría Narrativa y la Bibliometría tradicional.
3. **Conocer el marco metodológico**: Aprender sobre las diferentes narrativas, indicadores bibliométricos y las bases de datos relevantes para aplicar Bibliometría Narrativa.
4. **Transformar métricas en narrativas**: Adquirir habilidades para convertir métricas cuantitativas en narrativas significativas y contextuales.
5. **Preparar narrativas a nivel de CV y de publicación**: Aplicar los conocimientos para elaborar narrativas que defiendan y contextualicen tanto los CV como publicaciones específicas.
6. **Identificar y mitigar riesgos**: Reconocer los principales riesgos asociados con la Bibliometría Narrativa.

## 1. El nuevo contexto evaluativo
Dentro de la informetría, se han venido produciendo desde los años 70 numerosas propuestas que ha desembocado a un rico y extenso marco evaluativo. Aunque en la mayoría de los casos ha predominado una Bibliometría evaluativa centrad únicamente en la exposición de indicadores.


### 1.1. Los manifiestos
En los últimos años, la evaluación académica ha sido profundamente influenciada por varios manifestos que buscan mejorar y modernizar las prácticas evaluativas. Estos manifiestos proponen un cambio de enfoque, pasando de una evaluación basada únicamente en métricas cuantitativas a una más cualitativa y contextual.

| **Manifiesto** | **Descripción** | **Principios clave** |
|---------------------|-------------------------------------------------------------------------------------------------------------------------|--------------------------------------------------------------------------------------------------------------------|
| **[DORA](https://sfdora.org/read/read-the-declaration-espanol/)**<br>2013 | Declara la necesidad de mejorar las prácticas de evaluación de la investigación, criticando el mal uso del Journal Impact Factor (JIF).| - Evaluar la investigación por su mérito propio y no por el JIF de la revista. <br> - Promover una amplia gama de métricas y herramientas. |
| **[Leiden Manifesto](http://www.leidenmanifesto.org)**<br>2015| Ofrece diez principios para la medición responsable de la investigación, enfatizando el contexto y el uso adecuado de métricas. | - Medir el rendimiento de la investigación con múltiples métodos. <br> - Considerar el impacto social y contextual. |
| **[The Metric Tide](https://www.ukri.org/publications/review-of-metrics-in-research-assessment-and-management/)**<br>2015 | Promueve un enfoque integrado que combina métricas tradicionales y alternativas (altmetrics). | - Combinar métricas cuantitativas y cualitativas. <br> - Evaluar la difusión y el impacto en redes sociales y plataformas digitales. |
| **[Declaración de Barcelona](https://barcelona-declaration.org)**<br>2024 | Promueve la apertura de la información de investigación, fomentando la transparencia y la inclusión. | - Compromiso con la apertura de la información de investigación. <br> - Colaboración global para la adopción de prácticas abiertas. |

*Nota:* [DORA no desaconseja las métricas, sino su mal uso](https://sfdora.org/2024/05/06/dora-releases-new-guidance-on-research-indicators/).

### 1.2. La llegada de CoARA
Dentro de este marco de modernización, **[CoARA (Coalition for Advancing Research Assessment)](https://coara.eu)** ha surgido como una iniciativa europea clave. CoARA tiene como objetivo reformar y mejorar las prácticas de evaluación de la investigación, promoviendo un enfoque más amplia, transparente y contextual, y superando las limitaciones de las métricas tradicionales.

Sus principales propuestas se basan en:
- **Transparencia**: Fomentar prácticas de evaluación claras y abiertas.
- **Evaluación holística**: Considerar múltiples dimensiones del impacto de la investigación, no solo las métricas cuantitativas y de impacto científico.
- **Contextualización**: Evaluar los trabajos en el contexto de su campo específico y su impacto en la sociedad.
- **Métricas diversificadas**: Integrar tanto métricas tradicionales como alternativas para una visión más completa del impacto de la investigación.

### 1.3. Implicaciones a nivel nacional
La adopción de los principios de CoARA ha llevado a cambios significativos en los procesos de evaluación académica en España. La **Agencia Nacional de Evaluación de la Calidad y Acreditación (ANECA)** ha implementado nuevas directrices que reflejan estos principios. Estas directrices incluyen la promoción de currículos narrativos y una evaluación más contextualizada de las contribuciones científicas.

Esto se ha visto aplicado ya en dos procesos nacionales:
- **[Sexenios](https://www.aneca.es/-/aneca-actualiza-los-principios-y-los-criterios-de-evaluación-de-los-sexenios-de-investigación)**: La evaluación para la obtención de sexenios ahora considera de manera más integral el impacto multidimensional y contextual de las contribuciones científicas, alineándose con los principios de CoARA.
- **[Acreditaciones](https://www.aneca.es/-/aneca-agiliza-la-acreditación-de-profesorado-e-integra-las-aportaciones-de-la-comunidad-universitaria)**: Los procesos de acreditación académica se han adaptado para incluir estas nuevas formas de evaluación, fomentando una presentación más concisa y detallada de los logros académicos.

Estas reformas están diseñadas para fomentar una evaluación más justa y completa de la investigación académica, alineándose con los principios promovidos por CoARA y los manifiestos internacionales como DORA y el Leiden Manifesto. La implementación de estas políticas representa un cambio significativo hacia una evaluación académica más cualitativa y contextual, lo que requiere que los investigadores adapten sus enfoques para presentar y defender sus contribuciones científicas de manera más efectiva.

## 2. La Bibliometría Narrativa
Es en este contexto donde aparece la Bibliometría Narrativa para hacer frente a estas nuevas necesidades. Se trata de una **evolución de la Bibliometría Evaluativa tradicional**. Este nuevo enfoque integra indicadores bibliométricos dentro de narrativas explicativas, permitiendo una evaluación más contextual y cualitativa de las contribuciones científicas.

### 2.1. Definición
La Bibliometría Narrativa es una h**erramienta de asistencia y apoyo** para la evaluación científica. Va más allá de contar publicaciones o citas; busca contextualizar estos indicadores dentro de una narrativa que explique el impacto y la relevancia de la investigación. Esto incluye cómo los trabajos científicos influyen en su campo, en políticas públicas, en la sociedad y en otros ámbitos. Esta metodología proporciona un marco más rico y detallado para entender y valorar las contribuciones académicas.

### Comparación entre Bibliometría Tradicional y Bibliometría Narrativa

| **Indicador** | **Bibliometría tradicional** | **Bibliometría Narrativa** |
|----------------------|---------------------------------------------------------------------------------------|-------------------------------------------------------------------------------------------------------------------------|
| **Citas** | "Este artículo ha recibido 50 citas en los últimos tres años." | "Este artículo ha recibido 50 citas, destacando su impacto en el desarrollo de nuevas técnicas de biología molecular. Y es que ha sido citado por 7 grupos de investigación líderes en Europa y Estados Unidos, y 5 citas proceden de metodologías en avances en terapias génicas." |
| **JIF**| "Este artículo fue publicado en una revista con un JIF de 5.0, lo que indica alta calidad." | "Publicamos en una revista con un JIF de 5.0, situándose así en el primer decil de su área (D1), concretamente en el percentil 93. Por lo que al situarse entre el 7% más citado se refleja su relevancia respecto a otras revistas del área." |
| **Número de visitas**| "Este artículo ha recibido 1000 visitas." | "Este artículo ha recibido 1000 visitas en el respositorio de la UGR, destacando el amplio interés de la comunidad académica y profesional. El 80% son procedentes de fuera de España, por lo que tiene un reconocido interés internacional." |

### El CV Narrativo
El CV Narrativo es una herramienta esencial dentro de la Bibliometría Narrativa. A diferencia del CV tradicional, que enumera publicaciones y métricas de manera lineal, el CV Narrativo permite a los investigadores explicar y contextualizar sus logros, proporcionando una visión más rica y detallada de su impacto científico y social.


#### Diferencias entre CV tradicional y CV Narrativo
- **CV tradicional**:
- Lista de manera indiscriminada abultando toda la actividad.
- Enumera publicaciones, proyectos y logros de manera cuantitativa.
- Enfatiza la cantidad de publicaciones y citas.
- Se centra en indicadores tradicionales como el JIF y el número de citas.

- **CV Narrativo**:
- Selecciona los principales logros.
- Contextualiza cada logro dentro de una narrativa explicativa.
- Enfatiza la relevancia y el impacto cualitativo de las contribuciones.
- Incluye descripciones sobre cómo las investigaciones han influido en el campo, en políticas y en la sociedad apoyándose en métricas.

### Implementación del CV Narrativo
El CV Narrativo debe estructurarse para resaltar no solo las publicaciones y citas, sino también cómo cada contribución ha influido en su campo y en la sociedad. Esto incluye:

- **Describir el contexto** de cada publicación: ¿Cuál era el problema o la pregunta de investigación? ¿Por qué es importante?
- **Poner en relieve logros**: Inegrar dentro de la narrativa otros logros como estancias de investigación y proyectos.
- **Narrar el impacto**: ¿Cómo ha sido utilizado el trabajo? ¿Ha influido en políticas públicas, ha sido citado en informes clave, o mencionado en medios de comunicación?
- **Integrar altmetrics**: Menciones en redes sociales, blogs, y otras plataformas digitales.

## 3. Marco metodológico de la Bibliometría Narrativa
La Bibliometría Narrativa se basa en la integración de diferentes tipos de narrativas, indicadores y fuentes de datos para proporcionar una evaluación más rica y contextual de las contribuciones científicas. Este enfoque permite a los investigadores y evaluadores seleccionar y utilizar las métricas que mejor reflejen el impacto y la relevancia de la investigación para construir de la manera más amplia la evidencia científica.


### 3.1. Tipos de narrativas
Son varias narrativas para contextualizar el impacto de la investigación. Las principales narrativas incluyen:

1. **Narrativa de posición**:
- Utiliza indicadores normalizados y cuartílicos para posicionar las publicaciones dentro de su campo.
- *Ejemplo*: "Este artículo se encuentra en el primer cuartil de su área según el Journal Citation Reports (JCR), destacando su relevancia y calidad."

2. **Narrativa de contexto**:
- Clasifica las menciones y citas según su ubicación y contexto dentro de los artículos.
- *Ejemplo*: "Este trabajo ha sido citado en la sección de revisión de literatura de 15 estudios, indicando su importancia como referencia en el campo."

3. **Narrativa de los agentes**:
- Identifica a los autores, grupos e instituciones que referencian las publicaciones.
- *Ejemplo*: "El estudio ha sido citado por 5 investigadores de instituciones líderes como MIT y Stanford, lo que refleja su influencia y reconocimiento internacional."

4. **Narrativa de las audiencias**:
- Analiza el alcance y perfil de las audiencias que interactúan con las publicaciones.
- *Ejemplo*: "El artículo ha sido compartido 35 veces en X (Twitter) y ha recibido atención significativa de medios de comunicación especializados, que lo han compartido 10 veces."

### 3.2. Principales indicadores en la Bibliometría Narrativa
La selección de indicadores en la Bibliometría Narrativa es flexible y puede adaptarse a las necesidades específicas de la evaluación. A continuación se describen las cinco dimensiones principales de evaluación junto con métricas de ejemplo para cada una:

| **Dimensión** | **Descripción** | **Métricas de Ejemplo** |
|------------------------------------|-------------------------------------------------------------------------------|------------------------------------------------------------------------------|
| **Impacto científico de la publicación** | Evalúa cómo una publicación contribuye al avance del conocimiento en su campo. | - Número de citas recibidas <br> - Impacto normalizado (CNCI, FWCI) <br> - Visitas a la publicación en la revista |
| **Relevancia del medio** | Considera la importancia y prestigio del medio donde se publica la investigación. | - JIF de la revista <br> - Cuartiles del Journal Citation Reports |
| **Impacto social** | Mide cómo la investigación influye en políticas públicas, medios sociales o medios de comunicación. | - Citas en documentos de políticas <br> - Menciones en X (Twitter) <br> - Menciones en medios de comunicación |
| **Uso y visibilidad** | Evalúa la visibilidad y utilización de la investigación por parte de la comunidad académica y más allá. | - Número de descargas y visitas <br> - Veces que es enlazado en otras webs|
| **Acceso Abierto** | Valora el acceso libre y la disponibilidad de la investigación para un público amplio. | - Nivel de acceso abierto (Principios FAIR) <br> - Disponibilidad en repositorios institucionales <br> - Número de descargas de versiones de acceso abierto |

### 3.3. Fuentes de datos
Existe una variedad de fuentes de datos para obtener una visión completa del impacto de la investigación. Estas fuentes incluyen:

| **Fuente de datos** | **Descripción** | **Ejemplos** |
|---------------------------------------|-------------------------------------------------------------------------------|------------------------------------------------------------------------------|
| **Bases de datos bibliográficas** | Plataformas tradicionales especializadas en la recopilación y organización de referencias bibliográficas de publicaciones científicas y sus citas. | Web of Science, Dialnet |
| **Motores de búsqueda** | Plataformas que permiten buscar literatura académica y científica a través de Internet. | Google Scholar, PubMed |
| **Agregadores de datos altmetrics** | Plataformas especializadas que recopilan e integran datos relativos a publicaciones científicas. | Altmetric.com, PlumX |
| **Índices** | Herramientas que proporcionan listas curadas de revistas y monografías incluyendo información detallada. | Journal Citation Reports, DOAB |
| **Fuentes combinadas** | Estas plataformas combinan más de una fuente al mismo tiempo, en especial bases de datos bibliográficas y agregadores de datos. | Dimensions+Altmetric.com, Scopus+PlumX |
| **Repositorios de Acceso Abierto** | Plataformas digitales que almacenan y permiten el acceso a trabajos académicos en acceso abierto, incluyendo repositorios temáticos especializados en áreas específicas y repositorios institucionales. | Zenodo, Repositorios institucionales |
| **Suites bibliométricas** | Herramientas altamente especializadas y enfocadas exclusivamente para el análisis bibliométrico y cienciométrico. | InCites, SciVal |
| **Fuentes complementarias** | Variedad de recursos no enfocados a la literatura académica, pero a través de la cual se interactúa con ella. | WorldCat, Wikipedia |

### 3.4. Estrategia de selección de fuentes
Dada la amplitud y diversidad de fuentes de datos disponibles en la Bibliometría Narrativa, es fundamental seleccionar las fuentes con cuidado para garantizar una evaluación precisa y significativa. No se trata de seleccionar todas las posibles sino aquellas más acordes con las que dar cabida a las narrativas a emplear.


A continuación, se presenta una estrategia para la selección de fuentes:

#### 1. Identificación de narrativas
La primera etapa en la estrategia de selección de fuentes consiste en identificar las narrativas más relevantes para la evaluación. Esto implica determinar qué tipo de impacto se quiere destacar (científico, social, educativo, etc.) y elegir las narrativas que mejor expliquen y contextualicen estos impactos.

- **Evaluar el objetivo**: Comprender el propósito y los objetivos de la investigación para determinar las narrativas más apropiadas.
- **Seleccionar tipos de narrativas**: Considerar narrativas de posición, contexto, agentes y audiencias según sea relevante para la evaluación.
- **Ejemplos**:
- *Narrativa de contexto*: Adecuada para destacar cómo se cita y utiliza la investigación en la literatura existente.
- *Narrativa de audiencias*: Utilizar cuando se desea destacar el público que hace uso del trabajo.

#### 4.2. Selección de indicadores apropiados
Una vez seleccionadas las narrativas, el siguiente paso es elegir los indicadores más adecuados para cada narrativa. Esto incluye considerar tanto métricas tradicionales como altmetrics. Los indicadores deben ser pertinentes y capaces de proporcionar una visión clara y precisa del impacto de la investigación.

- **Revisar métricas disponibles**: Evaluar la gama de métricas tradicionales y alternativas que pueden aplicarse a la narrativa seleccionada.
- **Seleccionar indicadores relevantes**: Elegir indicadores que reflejen mejor el impacto descrito en la narrativa.
- **Ejemplos**:
- *Impacto científico de la publicación*: Citas y visitas en la revista.
- *Impacto social*: Menciones en X (Twitter) y menciones en medios de comunicación.

#### 4.3. Recolección de datos
Para obtener una visión completa y equilibrada del impacto, es esencial recolectar datos de múltiples fuentes. Esto incluye bases de datos académicas, plataformas de altmetrics, informes de políticas y documentos gubernamentales, medios de comunicación y plataformas digitales. Utilizar una variedad de fuentes asegura que la evaluación sea exhaustiva y representativa, aunque no hay que abarcar un amplio número de fuentes.

- **Diversificar las fuentes de datos**: Incluir bases de datos bibliográficas, motores de búsqueda, agregadores de datos y repositorios de acceso abierto.
- **Ejemplos**:
- *Bases de datos bibliográficas*: Web of Science.
- *Plataformas de altmetrics*: Altmetric.com.

#### 4.4. Construcción de la narrativa
La construcción de la narrativa implica integrar los indicadores y datos recolectados en una narrativa coherente que destaque la relevancia y el impacto de la investigación. Esta narrativa debe ser clara, concisa y basada en evidencias verificables. Es fundamental evitar redundancias y asegurar que la narrativa sea comprensible y convincente para los evaluadores.

- **Integrar indicadores y datos**: Combinar los datos recolectados en una narrativa cohesiva.
- **Desarrollar una historia coherente**: Asegurarse de que la narrativa fluya lógicamente y resalte los puntos clave de impacto.
- **Ejemplos**:
- *Narrativa Coherente*: "El artículo ha sido citado en 50 estudios clave. De estos, 25 citas se han producido en la metodología, por lo que ha influido en el desarrollo de nuevas técnicas de biología molecular, demostrando su impacto significativo en el campo."

#### 4.5. Evaluación y ajuste
El último paso en la estrategia de selección de fuentes es la evaluación y ajuste de la narrativa y los indicadores. Esto implica revisar y ajustar la narrativa según sea necesario para reflejar de manera precisa el impacto y la relevancia de la investigación. Es un proceso iterativo que garantiza que la narrativa sea robusta y efectiva.

- **Revisar la narrativa**: Evaluar la efectividad y precisión de la narrativa creada.
- **Ajustar indicadores y datos**: Modificar y actualizar los indicadores y datos para asegurar su relevancia y precisión.
- **Proceso iterativo**: Repetir el proceso de revisión y ajuste para mejorar continuamente la narrativa.


## 4: Principales problemas y recomendaciones
Aunque la Bibliometría Narrativa ofrece una evaluación más rica y contextual de las contribuciones científicas, también presenta varios desafíos y problemas que deben abordarse para garantizar su efectividad.


A continuación se presenta una tabla con los principales problemas, su descripción y recomendaciones para evitarlos.

| **Problema** | **Descripción** | **Recomendaciones** |
|--------------|------------------|---------------------------------|
| **Falta de soporte** | Crear narrativas que no están respaldadas adecuadamente por los indicadores o que exageran el impacto puede llevar a evaluaciones inexactas y desacreditar el proceso. | Asegurarse de que todas las afirmaciones en la narrativa estén respaldadas por datos verificables y mantener la objetividad en la presentación del impacto. |
| **Disonancia biblionarrativa** | La repetición de información similar y la falta de coherencia en la narrativa pueden confundir a los evaluadores. | Realizar una revisión exhaustiva y iterativa de la narrativa para eliminar redundancias y asegurar coherencia. |
| **Diversidad y comparabilidad de indicadores** | La inclusión de múltiples tipos de indicadores puede complicar la evaluación y dificultar la comparación de resultados entre diferentes estudios. | Seleccionar un conjunto de indicadores estandarizados y comparables, aplicando criterios uniformes para su evaluación. |
| **Calidad y confiabilidad de las fuentes de datos** | La variabilidad en la calidad y confiabilidad de las fuentes de datos puede afectar la precisión y validez de la evaluación. | Utilizar fuentes de datos reconocidas y validadas, y realizar una evaluación crítica de la calidad y confiabilidad de los datos. |
| **Sobrecarga de información** | La inclusión de demasiados datos puede abrumar a los evaluadores y dificultar la identificación de los puntos clave de impacto. | Priorizar la relevancia y concisión en la selección y presentación de datos, enfocándose en los indicadores más significativos. |
| **Cuidado con revistas o editoriales predatorias** | Las métricas de revistas o editoriales predatorias pueden inflar artificialmente la calidad y el impacto de las publicaciones. | Utilizar listas y recursos confiables para identificar y evitar revistas y editoriales predatorias. |
| **Uso de métricas desconocidas** | El uso de métricas poco conocidas o no validadas puede socavar la credibilidad de la evaluación. | Priorizar el uso de métricas establecidas y ampliamente aceptadas en la evaluación. |
| **Confusión entre publicación en revistas abiertas y repositorios** | Confundir la publicación en revistas de acceso abierto que cobran APC (Article Processing Charges) con el depósito en repositorios de acceso abierto puede llevar a evaluaciones inexactas. | Diferenciar claramente entre la publicación en revistas de acceso abierto y el depósito en repositorios. Utilizar métricas y criterios específicos para cada caso. |
| **Falta de transparencia** | La opacidad en la metodología y las fuentes de datos utilizadas puede generar desconfianza y cuestionar la validez de la evaluación. | Mantener la transparencia en todas las etapas del proceso, documentando claramente las fuentes de datos y la metodología utilizada. |

## Referencias
Arroyo-Machado, W. (2024). Acceso abierto, asignatura pendiente. *Anuario ThinkEPI*, 18. [https://doi.org/10.3145/thinkepi.2024.e18a07](https://doi.org/10.3145/thinkepi.2024.e18a07)

Arroyo-Machado, W., & Torres-Salinas, D. (2023). Corrigendum: Evaluative altmetrics: is there evidence for its application to research evaluation?. *Frontiers in Research Metrics and Analytics*, 8, 1331874. [https://doi.org/10.3389/frma.2023.1188131](https://doi.org/10.3389/frma.2023.1188131)

Cabezas-Clavijo, Á. (2024). Qué es un CV narrativo. 10 recomendaciones para su redacción eficiente. *Infonomy*, 2(2). [https://doi.org/10.3145/infonomy.24.031](https://doi.org/10.3145/infonomy.24.031)

Torres-Salinas, D. (2023). Entre métricas y narraciones: definición y aplicaciones de la Bibliometría Narrativa. *Anuario ThinkEPI*, 17. [https://doi.org/10.3145/thinkepi.2023.e17a30](https://doi.org/10.3145/thinkepi.2023.e17a30)

Torres-Salinas, D., Orduña-Malea, E., Delgado-Vázquez, Á. M., Gorraiz, J., & Arroyo-Machado, W. (2024). Foundations of Narrative Bibliometrics. *Available at SSRN 4755494*. [https://dx.doi.org/10.2139/ssrn.4755494](https://dx.doi.org/10.2139/ssrn.4755494)

---