Gestión y evaluación de la producción científica: Evaluación de la producción científica

# Gestión y evaluación de la producción científica: Evaluación de la producción científica <center><img src="https://raw.githubusercontent.com/Wences91/teaching/main/images/ec3metrics/ec3_logo.png" style="width:40%"></img></center></br> # Objetivos de esta sesión * Introducir los indicadores bibliométricos básicos para publicaciones y autores * Aprender los criterios para seleccionar indicadores * Conocer las principales fuentes para la evaluación de publicaciones y autores # 1. Evaluación científica La evaluación es un proceso elemental en cualquier tipo de actividad. Un proceso que conlleva la revisión y medición bajo criterios preestablecidos. La evaluación no falta en la ciencia y está presente en numerosos procesos: acreditaciones, solicitudes de proyectos... Actualmente existe un intenso debate en torno a la forma en la que se lleva a cabo, simplificándose a menudo en [dos bandos polarizados](https://doi.org/10.3145/thinkepi.2022.e16a21). Pese a que la bibliometría se encuentra en el ojo del huracán, este campo ofrece [desde los años 80](https://doi.org/10.3145/thinkepi.2022.e16a14) un repertorio de **instrumentos** con los que medir el impacto académico (que no calidad) para facilitar la toma de decisiones. De su éxito radica demás la transparencia y delimitación de sus propias limitaciones. No existe un único y perfecto indicador que se ajuste todas las casuísticas. Existe todo un universo métrico, por lo que la selección de indicadores robustos que se ajustan a nuestra necesidad y su correcta interpretación resulta clave para su uso [responsable](https://doi.org/10.4135/9781473978782). Además, los indicadores deben adaptarse a cada situación. Una de las primeras cuestiones a considerar es el área de conocimiento, pues existe diversidad en la comunicación y de ello dependen: * Las tipologías documentales * Las fuentes * Los indicadores Sería un error querer evaluar la producción de Derecho aplicando los mismos criterios que en Ingeniería y Ciencias de la Computación. ## 1.1. La importancia de la normalización Para facilitar la lectura e interpretación de los indicadores, se debe anteponer el uso de indicadores normalizados a indicadores en bruto. Los indicadores normalizados son entendibles y comparables fácilmente. **Ejemplo 1**: el número total de trabajos de un autor con colaboración internacional puede dar una visión mucho más limitada y sesgada por la producción que el porcentaje de trabajos en colaboración internacional. **Ejemplo 2**: el Factor de Impacto de una revista impide en si mismo saber qué posición ocupa una revista en el ranking global, mientras que el cuartil da esa información por si solo. # 2. Evaluación de publicaciones A nivel de publicación, vamos a diferencias principalmente entre artículos científicos y monografías. ## 2.1. Artículos científicos Aquí hay que considerar no solo indicadores asociados directamente a las características o impacto del artículo sino al de la propia revista en la que se publica. En esta parte solo consideramos el [impacto](https://www.lluiscodina.com/indices-de-impacto-citescore/). ### Nivel artículo Indicadores fundamentales del artículo: * **Citas totales** - Número de veces que citado un trabajo * **Citas sin autocitas** - Número de veces que citado un trabajo sin contar las autocitas * **Highly cited** \[**Solo Web of Science**\] - Top 1% más citado del campo ### Bases de datos Para comprobar los indicadores basados en citas puedes usar varias bases de datos y herramientas (ordenadas por relevancia): * **Web of Science** - Válido para todas las áreas, pero con limitaciones para Ciencias Sociales y Humanidades * **Scopus** - Ciencias Sociales y Humanidades * **Dialnet** - Ciencias Sociales (no todos los casos) y Humanidades * **Google Scholar** (<ins>Adicionalmente y con precaución</ins>) - Todos los casos ### Nivel revista Antes de considerar los indicadores, es clave delimitar el campo(s) de la revista y dónde se encuentra indexada. Indicadores fundamentales de la revista: * Journal Impact Factor (JIF) \[**Solo Web of Science**\] - Citas de un año concreto a dos previos dividido entre los documentos publicados esos dos años. Importante: considerar el índice de la revista (SCIE, SSCI, [AHCI Y ESCI](https://clarivate.com/blog/mapping-the-path-to-future-changes-in-the-journal-citation-reports/)) * CiteScore \[**Solo Scopus**\] - Igual que el JIF pero para tres años. * Scimago Journal Rank (SJR) \[**Solo Scopus**\] - Similar al JIF pero ponderando las cita en función del "prestigio" de la revista * [Journal Citation Indicator (JCI)](https://clarivate.com/webofsciencegroup/wp-content/uploads/sites/2/2021/06/JCI-2021.pdf) \[**Solo Web of Science**\] - Media del CNCI de los artículo y revisiones publicados en tres años * [**h-index**](https://es.wikipedia.org/wiki/%C3%8Dndice_h) - Número de artículos de la revista que han sido citados mínimo *h* veces * Cuartil de la revista - Cuartil que ocupa en un ranking como el JIF, SJR o JCI **Importante**: Los indicadores de revista deben corresponder a la versión del año en el que se publicó el artículo. ### Índices de revistas Para comprobar los indicadores basados en citas de revistas y las posiciones de estas en base a ellos, dispones de varios índices (ordenados por relevancia): * [**Journal Citation Reports (JCR)**](https://jcr.clarivate.com) - Válido para todas las áreas, pero con limitaciones para Ciencias Sociales y Humanidades * [**Scimago Journal Rank (SJR)**](https://www.scimagojr.com/) - Ciencias Sociales y Humanidades * [**Scopus Sources**](https://www.scopus.com/sources) - Ciencias Sociales (no todos los casos) y Humanidades * [**Dialnet Metrics**](https://dialnet.unirioja.es/metricas/) - Ciencias Sociales (no todos los casos) y Humanidades * [**Sello de Calidad FECYT**](https://calidadrevistas.fecyt.es/ranking) - Ciencias Sociales (no todos los casos) y Humanidades También conviene tener en cuenta las revistas *predatory*. El [**Beall's List**](https://beallslist.net/) es un índice (de carácter muy orientativo y [controvertido](https://en.wikipedia.org/wiki/Beall%27s_List#Criticism)) para identificación de editoriales y revistas de este tipo, pero revisa sobre todo su presencia en [**DOAJ**](https://doaj.org/). De hecho, revisa la indexación en la propia DOAJ y [no en la revista](https://blog.doaj.org/2014/08/28/some-journals-say-they-are-in-doaj-when-they-are-not/). ## 2.2. Monografías Para las monografías, el principal indicador de impacto viene dado por su inclusión en índices de editoriales y libros: * [**Scholarly Publishers Indicators (SPI)**](https://spi.csic.es/indicadores/prestigio-editorial/2022-clasificacion-general) - Índice de editoriales desarrollado por el CSIC * **Book Citation Index (BKCI)** - Índice de monografías de la Web of Science * **Scopus books** - Índice de monografías de Scopus Aunque no viene indicado en el SPI, calcula el cuartil de la editorial en lugar de su posición en el ránking o valor de [indicador de calidad de editoriales según los expertos (ICEE)](https://spi.csic.es/indicadores/prestigio-editorial/metodologia-2022). # 3. Autores A nivel de autor los indicadores básicos y más fácilmente obtenibles son: * **Producción** - Total de documento publicados * **Producción JCR** - Total de documentos en revistas indexadas en el JCR * **Citas totales** - Total de citas * [**índice-h**](https://es.wikipedia.org/wiki/%C3%8Dndice_h) - Número de artículos del autor que han sido citados mínimo *h* veces Para obtener estos indicadores no hace falta llevar a cabo ningún cálculo, acude a las herramientas de perfiles de autores. No solo ofrecen un portfolio con indicadores calculados automáticamente, sino que ofrecen un identificador para localizar sin ambigüedad al autor/a. * **ResearcherID (Clarivate)** * **Scopus Author ID** * **Dialnet** * **ORCID** * **Google Scholar** **Importante**: En algunos casos pueden existir perfiles duplicados o con problemas de curación. # Extra 1: las suites bibliométricas Tanto Clarivate como Elsevier cuentan con dos herramientas avanzadas para la evaluación científica: * [**InCites (Clarivate)**](https://incites.clarivate.com/) - Datos de Web of Science (principales índices) * [**SciVal (Elsevier)**](https://www.scival.com/home) - Datos de Scopus En ambos casos permiten el análisis a diferentes niveles: * Publicación * Autor/a * Institución * Región * Revista * Categoría Como ejemplo, ambas ofrecen directamente dos inicadores avanzados imprescindibles: * Category Normalized Citation Impact (CNCI) \[**Solo Web of Science**\] - Indicador normalizado de impacto que pondera las citas recibidas por las esperadas según el campo y año * Field-weighted Citation Impact (FWCI) \[**Solo Scopus**\] - Indicador normalizado de impacto que pondera las citas recibidas por las esperadas según el campo y año # Extra 2: las altmetrics Más allá de las citas hay todo un mundo de posibilidades métricas para evaluar la atención social. Son las denominadas altmetrics y actualmente estos indicadores se ofrecen a nivel de publicación y pueden obtenerse de: * **PlumX** (Integrado en Scopus) * [**Altmetric.com**](https://www.altmetric.com/) --- # Información <div class="alert alert-block alert-info"> <b>Autor:</b> <a href="https://orcid.org/0000-0001-9437-8757">Wenceslao Arroyo-Machado</a></br> <b>Fecha de actualización:</b> 10/03/2023</br> </div>