---
# System prepended metadata

title: 'Gestión y evaluación de la producción científica: Evaluación de la producción científica'

---

# Gestión y evaluación de la producción científica: Evaluación de la producción científica

<center><img src="https://raw.githubusercontent.com/Wences91/teaching/main/images/ec3metrics/ec3_logo.png" style="width:40%"></img></center></br>

# Objetivos de esta sesión
* Introducir los indicadores bibliométricos básicos para publicaciones y autores
* Aprender los criterios para seleccionar indicadores
* Conocer las principales fuentes para la evaluación de publicaciones y autores

# 1. Evaluación científica
La evaluación es un proceso elemental en cualquier tipo de actividad. Un proceso que conlleva la revisión y medición bajo criterios preestablecidos. La evaluación no falta en la ciencia y está presente en numerosos procesos: acreditaciones, solicitudes de proyectos...

Actualmente existe un intenso debate en torno a la forma en la que se lleva a cabo, simplificándose a menudo en [dos bandos polarizados](https://doi.org/10.3145/thinkepi.2022.e16a21). Pese a que la bibliometría se encuentra en el ojo del huracán, este campo ofrece [desde los años 80](https://doi.org/10.3145/thinkepi.2022.e16a14) un repertorio de **instrumentos** con los que medir el impacto académico (que no calidad) para facilitar la toma de decisiones. De su éxito radica demás la transparencia y delimitación de sus propias limitaciones.

No existe un único y perfecto indicador que se ajuste todas las casuísticas.

Existe todo un universo métrico, por lo que la selección de indicadores robustos que se ajustan a nuestra necesidad y su correcta interpretación resulta clave para su uso [responsable](https://doi.org/10.4135/9781473978782).

Además, los indicadores deben adaptarse a cada situación. Una de las primeras cuestiones a considerar es el área de conocimiento, pues existe diversidad en la comunicación y de ello dependen:
* Las tipologías documentales
* Las fuentes
* Los indicadores

Sería un error querer evaluar la producción de Derecho aplicando los mismos criterios que en Ingeniería y Ciencias de la Computación.

## 1.1. La importancia de la normalización
Para facilitar la lectura e interpretación de los indicadores, se debe anteponer el uso de indicadores normalizados a indicadores en bruto. Los indicadores normalizados son entendibles y comparables fácilmente.

**Ejemplo 1**: el número total de trabajos de un autor con colaboración internacional puede dar una visión mucho más limitada y sesgada por la producción que el porcentaje de trabajos en colaboración internacional.

**Ejemplo 2**: el Factor de Impacto de una revista impide en si mismo saber qué posición ocupa una revista en el ranking global, mientras que el cuartil da esa información por si solo.

# 2. Evaluación de publicaciones
A nivel de publicación, vamos a diferencias principalmente entre artículos científicos y monografías.

## 2.1. Artículos científicos
Aquí hay que considerar no solo indicadores asociados directamente a las características o impacto del artículo sino al de la propia revista en la que se publica. En esta parte solo consideramos el [impacto](https://www.lluiscodina.com/indices-de-impacto-citescore/).

### Nivel artículo
Indicadores fundamentales del artículo:
* **Citas totales** - Número de veces que citado un trabajo
* **Citas sin autocitas** - Número de veces que citado un trabajo sin contar las autocitas
* **Highly cited** \[**Solo Web of Science**\] - Top 1% más citado del campo

### Bases de datos
Para comprobar los indicadores basados en citas puedes usar varias bases de datos y herramientas (ordenadas por relevancia):
* **Web of Science** - Válido para todas las áreas, pero con limitaciones para Ciencias Sociales y Humanidades
* **Scopus** - Ciencias Sociales y Humanidades
* **Dialnet** - Ciencias Sociales (no todos los casos) y Humanidades
* **Google Scholar** (<ins>Adicionalmente y con precaución</ins>) - Todos los casos

### Nivel revista
Antes de considerar los indicadores, es clave delimitar el campo(s) de la revista y dónde se encuentra indexada.

Indicadores fundamentales de la revista:
* Journal Impact Factor (JIF) \[**Solo Web of Science**\] - Citas de un año concreto a dos previos dividido entre los documentos publicados esos dos años. Importante: considerar el índice de la revista (SCIE, SSCI, [AHCI Y ESCI](https://clarivate.com/blog/mapping-the-path-to-future-changes-in-the-journal-citation-reports/))
* CiteScore \[**Solo Scopus**\] - Igual que el JIF pero para tres años.
* Scimago Journal Rank (SJR) \[**Solo Scopus**\] - Similar al JIF pero ponderando las cita en función del "prestigio" de la revista 
* [Journal Citation Indicator (JCI)](https://clarivate.com/webofsciencegroup/wp-content/uploads/sites/2/2021/06/JCI-2021.pdf) \[**Solo Web of Science**\] - Media del CNCI de los artículo y revisiones publicados en tres años
* [**h-index**](https://es.wikipedia.org/wiki/%C3%8Dndice_h) - Número de artículos de la revista que han sido citados mínimo *h* veces
* Cuartil de la revista - Cuartil que ocupa en un ranking como el JIF, SJR o JCI

**Importante**: Los indicadores de revista deben corresponder a la versión del año en el que se publicó el artículo.

### Índices de revistas
Para comprobar los indicadores basados en citas de revistas y las posiciones de estas en base a ellos, dispones de varios índices (ordenados por relevancia):
* [**Journal Citation Reports (JCR)**](https://jcr.clarivate.com) - Válido para todas las áreas, pero con limitaciones para Ciencias Sociales y Humanidades
* [**Scimago Journal Rank (SJR)**](https://www.scimagojr.com/) - Ciencias Sociales y Humanidades
* [**Scopus Sources**](https://www.scopus.com/sources) - Ciencias Sociales (no todos los casos) y Humanidades
* [**Dialnet Metrics**](https://dialnet.unirioja.es/metricas/) - Ciencias Sociales (no todos los casos) y Humanidades
* [**Sello de Calidad FECYT**](https://calidadrevistas.fecyt.es/ranking) - Ciencias Sociales (no todos los casos) y Humanidades

También conviene tener en cuenta las revistas *predatory*. El [**Beall's List**](https://beallslist.net/) es un índice (de carácter muy orientativo y [controvertido](https://en.wikipedia.org/wiki/Beall%27s_List#Criticism)) para identificación de editoriales y revistas de este tipo, pero revisa sobre todo su presencia en [**DOAJ**](https://doaj.org/). De hecho, revisa la indexación en la propia DOAJ y [no en la revista](https://blog.doaj.org/2014/08/28/some-journals-say-they-are-in-doaj-when-they-are-not/).

## 2.2. Monografías
Para las monografías, el principal indicador de impacto viene dado por su inclusión en índices de editoriales y libros:
* [**Scholarly Publishers Indicators (SPI)**](https://spi.csic.es/indicadores/prestigio-editorial/2022-clasificacion-general) - Índice de editoriales desarrollado por el CSIC
* **Book Citation Index (BKCI)** - Índice de monografías de la Web of Science
* **Scopus books** - Índice de monografías de Scopus

Aunque no viene indicado en el SPI, calcula el cuartil de la editorial en lugar de su posición en el ránking o valor de [indicador de calidad de editoriales según los expertos (ICEE)](https://spi.csic.es/indicadores/prestigio-editorial/metodologia-2022). 

# 3. Autores
A nivel de autor los indicadores básicos y más fácilmente obtenibles son:
* **Producción** - Total de documento publicados
* **Producción JCR** - Total de documentos en revistas indexadas en el JCR
* **Citas totales** - Total de citas
* [**índice-h**](https://es.wikipedia.org/wiki/%C3%8Dndice_h) - Número de artículos del autor que han sido citados mínimo *h* veces

Para obtener estos indicadores no hace falta llevar a cabo ningún cálculo, acude a las herramientas de perfiles de autores. No solo ofrecen un portfolio con indicadores calculados automáticamente, sino que ofrecen un identificador para localizar sin ambigüedad al autor/a.
* **ResearcherID (Clarivate)** 
* **Scopus Author ID**
* **Dialnet**
* **ORCID**
* **Google Scholar**

**Importante**: En algunos casos pueden existir perfiles duplicados o con problemas de curación.

# Extra 1: las suites bibliométricas
Tanto Clarivate como Elsevier cuentan con dos herramientas avanzadas para la evaluación científica:
* [**InCites (Clarivate)**](https://incites.clarivate.com/) - Datos de Web of Science (principales índices)
* [**SciVal (Elsevier)**](https://www.scival.com/home) - Datos de Scopus

En ambos casos permiten el análisis a diferentes niveles:
* Publicación
* Autor/a
* Institución
* Región
* Revista
* Categoría

Como ejemplo, ambas ofrecen directamente dos inicadores avanzados imprescindibles:
* Category Normalized Citation Impact (CNCI) \[**Solo Web of Science**\] - Indicador normalizado de impacto que pondera las citas recibidas por las esperadas según el campo y año
* Field-weighted Citation Impact (FWCI) \[**Solo Scopus**\] - Indicador normalizado de impacto que pondera las citas recibidas por las esperadas según el campo y año

# Extra 2: las altmetrics
Más allá de las citas hay todo un mundo de posibilidades métricas para evaluar la atención social. Son las denominadas altmetrics y actualmente estos indicadores se ofrecen a nivel de publicación y pueden obtenerse de:
* **PlumX** (Integrado en Scopus)
* [**Altmetric.com**](https://www.altmetric.com/)

---

# Información
<div class="alert alert-block alert-info">
    <b>Autor:</b> <a href="https://orcid.org/0000-0001-9437-8757">Wenceslao Arroyo-Machado</a></br>
    <b>Fecha de actualización:</b> 10/03/2023</br>
</div>
