Resumen de Bibliometría PDF

1. INTRODUCCIÓN A LA BIBLIOMETRÍA 1.1. COMUNICACIÓN CIENTÍFICA Sistema utilizado para que los investigadores comuniquen al resto de la comunidad científica los resultados de sus investigaciones. Este proceso está organizado y estructurado y cada vez tiene más peso en la sociedad. Conjunto de element...

1. INTRODUCCIÓN A LA BIBLIOMETRÍA 1.1. COMUNICACIÓN CIENTÍFICA Sistema utilizado para que los investigadores comuniquen al resto de la comunidad científica los resultados de sus investigaciones. Este proceso está organizado y estructurado y cada vez tiene más peso en la sociedad. Conjunto de elementos y pautas que sostienen, regulan y perpetúan el proceso por el que los investigadores hacen accesibles al resto de la comunidad científica, sus pretensiones de contribuir al acervo científico. Estudio de cómo los académicos de cualquier campo utilizan y difunden información a través de canales formales e informales. (Borgman) 1.2. CANALES DE COMUNICACIÓN CIENTÍFICA Comunicación formal = la que se utiliza para comunicar de manera oficial el resultado de las investigaciones. Sigue una serie de pautas y elementos muy estructurados. Son los artículos de revisa, tesis doctorales, monografías, informes… Comunicación informal = es la relacionada con las relaciones humanas y sociales de los investigadores. El intercambio de información se lleva a cabo de una manera menos estructurada, sin pasar por ningún tipo de filtro o control. Incluye conversaciones personales, reuniones de grupos de trabajo, congresos científicos, correspondencia, publicaciones en páginas web o redes sociales… 1.3. LA EDICIÓN CIENTÍFICA La edición científica se diferencia mucho del resto de circuitos editoriales, con pautas de publicación y características propias. Existen tres circuitos fundamentales de publicación científica: Circuito científico propiamente dicho = es el canal oficial destinado a dar a conocer a otros científicos los resultados de la investigación. En esta categoría entran las revistas científicas, libros científicos, comunicaciones a congresos y patentes. Los textos tienen que ser contar con las partes básicas de una investigación científica (marco teórico, diseño metodológico, exposición de los resultados e interpretación crítica de los mismos). Los científicos consiguen a cambio reconocimiento científico y curricular que facilite la obtención de financiación de sus proyectos de investigación. Los documentos son sometidos a un proceso de evaluación y validación por pares (peer review) según las pautas de la objetividad, el anonimato y la pluraridad. Circuito educativo = es el dirigido a dotar de manuales para la enseñanza a profesores y alumnos, principalmente. Generalmente están escritos por científicos y profesionales y sistematizan los conocimientos sobre una materia concreta. Las características de cada uno dependerán del nivel educativo para el que está pensado. Circuito divulgativo = permite acercar temas especializados a un público general. Están producidos por profesionales muy diversos e incluye enciclopedias, revistas y libros de divulgación y medios de comunicación. 1.4. INFORMACIÓN CIENTÍFICA Información producida como resultado de la actividad investigadora. Tiene unas características propias: Carácter acumulativo: se basa en el conocimiento anterior para aportar algo nuevo. Crecimiento exponencial: cada vez se publica más y con más rapidez. o Engels (1844) – Ley del desarrollo acelerado de la ciencia o Price (1976) – ley de crecimiento exponencial de la ciencia Especialización: conforme crece la ciencia, se especializa para abordar en mayor profundidad los temas ya estudiados. Redundancia: la falta de coordinación entre equipos de investigación provoca que se estudien los mismos temas a la vez. Revisión por expertos. Obsolescencia/envejecimiento.  Interdisciplinariedad. Lenguaje propio: cada disciplina tiene su propia terminología, además de usar símbolos, códigos o fórmulas para expresar determinados conceptos. Cobertura lingüística: el marcado carácter internacional de la ciencia hace que mayoritariamente se publique la información en inglés. 1.5. BIBLIOMETRÍA La bibliometría es la ciencia que estudia cuantitativamente la producción científica (solo la de carácter científico) independientemente de su soporte. Su origen va asociado a la importancia que la ciencia ha adquirido como actividad económica, educativa y de desarrollo. Hasta el siglo XVII la ciencia se encargaba de generar conocimiento y tenía una dimensión casi exclusivamente cultural o lúdica. Se dedicaban pocas personas y pocos recursos a ella. En el siglo XVIII, con el desarrollo de la Ilustración, la Revolución Industrial y la mejora de las condiciones de vida y la formación académica, el conocimiento científico comenzó a utilizarse como motor económico, posibilitando el desarrollo tecnológico, la explotación de los recursos, los avances en la medicina… Por ello, los gobiernos comenzaron a invertir dinero en educación, conocimiento y ciencia, centralizando los recursos en las universidades. En paralelo a este avance, aumentó la producción científica y surgieron las primeras revistas científicas (en el siglo XVII) que permiten agilizar la divulgación de la investigación científica frente a los libros. Con el aumento de la producción científica también surgió el interés por el estudio de dicha producción con metodologías científicas (características, cómo crece, cómo envejece, cómo y cuándo surgen los temas de investigación…). Definiciones de bibliometría: Pritchard (1969): “La aplicación de métodos estadísticos y matemáticos dispuestos para definir los procesos de la comunicación escrita y la naturaleza y desarrollo de las disciplinas científicas, mediante el recuento y análisis de las distintas facetas de dicha comunicación”. Garfield (1978): “La cuantificación de la información bibliográfica susceptible de ser analizada”. Sengupta (1985): “Organización, clasificación y evaluación cuantitativa del comportamiento de las publicaciones a nivel macro y micro de la comunicación y de su autoría a través del cálculo matemático y estadístico”. Amat (1988): “La aplicación de las matemáticas y de métodos estadísticos, a libros y otros medios de comunicación, para informar sobre los procesos de la comunicación escrita y de la naturaleza y curso del desarrollo de una disciplina –en la mediad en que él mismo se manifiesta a través de la comunicación escrita– mediante el recuento y análisis de las diferentes pautas de esta comunicación”. Coll-Vinent y Bernal Cruz (1990): “Disciplina que analiza estadísticamente una determinada literatura científica, su evolución histórica, sus campos y desarrollos temáticos, así como sus autores y usos en el ámbito científico propio o próximo” Tague (1992): “El estudio de los aspectos cuantitativos de la producción, diseminación y uso de la información registrada”. Sanz-Casado (2000): “Disciplina que trata de medir la actividad científica y social y predecir su tendencia, a través del estudio y análisis de la literatura recogida en cualquier tipo de soporte”. 1.6. CIENCIAS AFINES A LA BIBLIOMETRÍA Cienciometría = es más amplia que la bibliometría ya que estudia la ciencia no solo a partir de la producción científica, sino que tiene también en cuenta otros aspectos como la formación, los recursos, el personal… En los años 90 se usaba como sinónimo de bibliometría. Infometría = aunque a menudo se utiliza como sinónimo de bibliometría, también puede referirse al estudio de otros tipos de información (periodística, por ejemplo). Webmetría o cibermetría = estudio cuantitativo de la comunicación a través de la web. No se centra exclusivamente en la información científica. Altmetría = engloba métricas alternativas a la bibliometría tradicional, basadas en otras fuentes e indicadores. Bibliotecometría = aúna conceptos de la bibliometría y la biblioteconomía. El foco no está en la producción científica sino en las bibliotecas en general. Bibliografía estadística = sinónimo en desuso de la bibliometría. 1.7. HISTORIA Y EVOLUCIÓN DE LA BIBLIOMETRÍA Aunque hay algunas prácticas esporádicas que podrían considerarse como el origen de la bibliometría (tablas comparativas de fondos en la biblioteca de Alejandría, s. III a.C.), los estudios y técnicas que se consideran el origen de la bibliometría surgen en el siglo XVIII en el ámbito jurídico: Raymond (1743): informe sobre la relación de casos citados y casos impresos en informes judiciales. Frömmichen (1780): análisis de la estructura lingüística de la literatura y relaciones entre la literatura en alemán y en latín. Douglas (1783): índice de casos citados en resoluciones judiciales de un tribunal en Inglaterra. Balbi (1828): estudio sobre producción científica en diversos países y análisis de la eficiencia de las bibliotecas en base al uso de sus colecciones. Uso de los primeros indicadores bibliométricos. Soule (1894): índice de jurisdicciones según el número de citas recibidas por otras cortes. Son todos casos aislados que buscan conocimiento, pero sin seguir una disciplina asentada con métodos definidos. La bibliometría como tal aparece en el siglo XX, con estudios que pretenden modelizar y describir matemáticamente la producción científica. Se enuncian las cuatro leyes fundamentales de la bibliometría: Lotka (1926): dispersión de la productividad de los investigadores Bradford (1934): dispersión de la literatura científica Price (1963): crecimiento exponencial de la ciencia Price (1973): envejecimiento de la literatura científica En España, la bibliometría se introduce de forma tardía, en los años 60, con la obra “Análisis estadístico y sociométrico de la literatura científica” de López Piñero. No obstante, Ortega y Gasset en 1935 ya abordó algunas cuestiones relacionadas con la bibliometría en “La misión del bibliotecario” como son los nuevos cometidos de los bibliotecarios o la importancia del análisis de la producción científica generada. La bibliometría se consolida en los años 60 con la creación de las bases de datos del Institute for Scientific Information (ISI) y el Science Citation Index, que recopilan de forma sistemática datos de las publicaciones y citas. Hoy en día la bibliometría se utiliza en la toma de decisiones de carácter científico como decidir qué proyectos se van a financiar o crear rankings de universidades. Los estudios más habituales se centran en cuantificar la producción científica, el impacto/calidad de la producción, la colaboración (entre personas, países o instituciones) y la interdisciplinariedad. 1.8. APLICACIONES DE LA BIBLIOMETRÍA La bibliometría se mueve en dos vertientes: Teórica: utiliza la producción científica como objeto de estudio y tiene como finalidad conocer las dinámicas de la ciencia a través de las publicaciones. Práctica: permite resolver problemas concretos en dos ámbitos diferenciados: o En bibliotecas: gestión de colecciones, especialmente en bibliotecas universitarias. o En políticas científicas: evaluación, rankings, asignación de recursos. Gestión de colecciones = por espacio y recursos económicos es imposible obtener y conservar todo lo que se publica en ciencia. La bibliometría da información relevante sobre la utilidad de la información científica para los investigadores de la institución, envejecimiento de las publicaciones, etc. con las que crear unas directrices para incorporar o expurgar fondos a la biblioteca. Por ejemplo, mediante la ley de Bradford se puede determinar el tamaño óptimo de una colección de revistas para dar el mejor servicio posible a los usuarios. Política científica = para medir la producción científica se utilizan indicadores bibliométricos que cuantifican las citas de artículos en revistas científicas. Aunque puede manipularse, en teoría, cuantas más citas recibe un artículo mayor será su impacto. 2. LEYES PRINCIPALES DE LA BIBLIOMETRÍA 2.1. LEY DE PRICE SOBRE EL CRECIMIENTO EXPONENCIAL DE LA CIENCIA Price planteó que el crecimiento de la ciencia sigue un modelo exponencial, esto significa, que la publicación de la información científica aumenta a un ritmo muy elevado, que se ajusta a una curva exponencial, muy superior al crecimiento de otros procesos o fenómenos sociales. Se calcula mediante la fórmula: N(t)=N(0)exp(bt) donde N(t) es el número de publicaciones en un momento dado, N(0) la producción inicial y b la tasa de crecimiento. Sin embargo, este crecimiento no es indefinido, llega un momento en el que el ritmo de crecimiento de las publicaciones sobre una disciplina disminuye, volviéndose lineal y finalmente alcanzando un nivel de saturación. Esta ley permite identificar las áreas de conocimiento que generan mayor interés en cada momento y que pueden tener mayor proyección en el futuro, así como prever aquellas en las que se está alcanzando la saturación. Desde el punto de vista de la política científica, puede utilizarse para planificar cómo se reparten los recursos para la investigación. Desde el punto de vista de la gestión de colecciones, puede utilizarse para identificar los temas en pleno crecimiento y que, por tanto, puedan generar mayor interés a sus usuarios para su incorporación a los fondos de la biblioteca. 2.2. LEY DE PRICE SOBRE EL ENVEJECIMIENTO DE LA LITERATURA CIENTÍFICA Price planteó que la utilidad de la literatura científica disminuye con el tiempo, es decir, la relevancia de la información científica tiene un ciclo de vida limitado. El tiempo en que las publicaciones científicas de una disciplina alcanzan la obsolescencia dependerá de la disciplina, siendo menor en las ciencias experimentales y mayor en las humanidades. El número de citas recibidas por un artículo irá en aumento en los primeros años hasta alcanzar un pico de citaciones y comenzar a decaer. Este proceso es común a todas las disciplinas, variando el periodo de tiempo en el que se produce. Para su medida se utiliza el semiperiodo (enunciado por Burton y Kebler) que se corresponde con la mediana de los años de publicación de los documentos citados. También puede utilizarse el Índice Price, que hace referencia a la proporción de documentos citados con menos de cinco años de antigüedad. Estas medidas pueden verse afectadas por el crecimiento de la literatura científica, ya que, si se publica mucha cantidad de documentos, se tenderá a citar los más recientes por considerarse más relevantes, distorsionando los resultados obtenidos. Esta ley permite conocer la actualidad de los documentos de cada disciplina que se conservan en una biblioteca y, con ello, el grado de relevancia y de utilidad para sus usuarios. De este modo, la ley de Price puede utilizarse en la gestión de colecciones para determinar si un documento debe ser movido al depósito o, incluso, expurgado. 2.3. LEY DE BRADFORD SOBRE LA DISPERSIÓN DE LA LITERATURA CIENTÍFICA Bradford identificó que la literatura científica relevante para un tema específico se distribuye de forma desigual entre distintas fuentes: mientras que una pequeña cantidad de revistas concentran la mayoría de los artículos citados, el resto de los artículos se distribuye entre un gran número de revistas. Para enunciar esta ley, Bradford utilizó un modelo de núcleos concéntricos, de manera que, cada núcleo contiene el mismo número de citas, pero el número de revistas que se necesitan para alcanzar ese número de citas será mayor cuanto más lejos del centro. La proporción suele seguir el siguiente esquema: 1:n:n^2, donde 1 representa el número de revistas en el centro (con un número de citas determinado), n el número de revistas en el segundo núcleo (con el mismo número de citas) y n^2 el del tercer núcleo (con el mismo número de citas). Es decir, para conseguir el mismo número de citas, el número de revistas necesarias seguirán una progresión geométrica. La principal aplicación de la ley de Bradford es en el ámbito de la gestión de las colecciones, ya que permite determinar qué revistas son más relevantes para una disciplina y, por tanto, favorecer su adquisición frente a otras de menor relevancia. También puede ser útil desde el punto de vista de la política científica para planificar a qué revistas enviar los artículos para su publicación, ya que potencialmente se tendrá más visibilidad en la disciplina. 2.4. LEY DE LOTKA SOBRE LA DISPERSIÓN DE LA PRODUCTIVIDAD DE LOS INVESTIGADORES Lotka señala que la productividad de los investigadores sigue una distribución inversa: una pequeña proporción de científicos produce la mayoría de los trabajos, mientras que la mayoría contribuye con pocas publicaciones. La ley de Lotka original es A(x)=A(1)/x^2 donde A(x) es el número de autores con x trabajos publicados y A(0) es el número de autores con un trabajo publicado. Esta formulación ha cambiado con el tiempo, siendo en la actualidad A(x)=C/x^n donde C y n son constantes que dependen de la disciplina. Esta ley es útil para identificar los autores más prolíficos de una disciplina concreta y, por consiguiente, los más relevantes. Puede usarse en el ámbito de la política científica para medir el desempeño de los investigadores de un mismo campo y optimizar la asignación de recursos. 3. FUENTES Y RECURSOS PARA EL ANÁLISIS BIBLIOMÉTRICO 3.1. LOS OBJETOS DE ESTUDIO Y LAS VARIABLES DE INTERÉS Un estudio bibliométrico debe seguir las metodologías de las investigaciones científicas cuantitativas, lo que condicionará los objetivos y la metodología de la recogida de datos y del análisis. Objetivos = tienen que fijarse de forma clara, acotándolos al máximo para evitar la ambigüedad. Población = individuos o casos que se van a estudiar. También tienen que definirse claramente, sin ambigüedades, tiene que identificarse sin lugar a duda si un individuo forma parte o no de la población. Lo óptimo es acotar teniendo en cuenta su volumen y coordenadas temporales y geográficas. Muestra = cuando la población es demasiado grande, se utiliza una fracción de ella en el estudio. Cuanto más representativa sea la muestra de la población, mejor se podrán extrapolar los resultados a la población total. La muestra se define en función del tipo de población. Lo óptimo es contar con un censo de la población para conocer sus características y extraer una muestra estratificada y representativa del total (valor alfa menor del 5% en ciencias sociales) y que evite los sesgos. Variables = son cada una de las características que se va a observar de cada elemento de la muestra/población. Dependerán de los objetivos seleccionados para el estudio. Pueden ser cualitativas (nominales, binarias, ordinales) o cuantitativas. Tipo de análisis = dependerá de los objetivos y de las variables. Podrán ser porcentajes, frecuencias, medias, modas… Identificación y características de los objetos de estudio = en bibliometría los estudios se centran en los documentos primarios de comunicación científica o en los generadores de la producción científica. Muchas veces el objeto de un estudio es variable en otro. Objetos de estudio más frecuentes como documentos primarios: artículos de revistas científicas, revistas científicas, monografías, capítulos de monografías, tesis doctorales, patentes, comunicaciones a congresos, actas de congresos. Objetos de estudio más frecuentes como productores de información: investigadores, departamentos, universidades, hospitales, centros de investigación, empresas, regiones, países. Identificación de variables a analizar = de cada objeto de estudio se pueden analizar multitud de variables de interés, bien por observación directa o de forma indirecta, a partir de transformaciones de otras variables. Dependerá de si la fuente de información utilizada proporciona o no la información. Variables más frecuentes al analizar documentos primarios: número de autores, adscripción de los autores, extensión, idioma, materia, colaboración, citas, referencias bibliográficas. Variables más frecuentes al analizar productores de información: adscripción, producción científica, área de conocimiento, cargo, trayectoria, incentivos recibidos, volumen. Todas las variables pueden desglosarse en variables más específicas y combinarse entre sí o con otras variables. 3.2. FUENTES DE OBTENCIÓN Y ANÁLISIS DE DATOS Dependiendo del tipo de documentos sobre los que se va a realizar la investigación se deberá elegir la fuente más adecuada. Para determinar cuál usar entre varias fuentes, en primer lugar, se elegirá aquella que más documentos recoja. Si se cuenta con valores similares, habrá que tener en cuenta las características de los documentos que se quieren recoger (variables) y cómo se van a exportar los datos (por ejemplo, Scopus y WOS permiten descargar más fácilmente los datos que Google Scholar o Dialnet). Normalmente los datos se descargan de forma estructurada en campos una tabla y se manejan en Excel u otro programa similar, aunque a veces para la descarga se requiere de un paso previo como un gestor bibliográfico (Zotero, Mendeley…) que permita transformar los datos exportados en un formato compatible con Excel. Para análisis estadísticos más elaborados se emplean otro tipo de programas como R, SPSS, Stata… También existen programas específicos para análisis bibliométricos. Pero en todos los casos hace falta partir de unos datos estructurados en forma de tabla (registro-campo o caso-variable). Identificación de las unidades de análisis = buscar la mejor fuente de información disponible, aquella que más información nos aporte y sea más fiable, o acudir a varias y completar la información de unas con otras. En cualquier estudio bibliométrico resulta imprescindible señalar la fuente o las fuentes de las que hemos obtenido la información y es más que aconsejable justificar el motivo de haberla/s seleccionado. En la mayoría de los estudios bibliométricos se utilizan fuentes secundarias de información, principalmente bases de datos comerciales, como Scopus o Web of Science, para identificar las unidades de análisis. Esto se debe a cuestiones de tipo práctico, ya que estas bases de datos recogen de forma organizada y normalizada mucha información, pero supone también un sesgo importante, ya que no recogen toda la producción científica mundial, sino una parte de ella (principalmente artículos de revistas que han pasado un proceso de selección para ser incluidas). El caso es que, debido a su prestigio, a su amplia cobertura (mucho más que la mayoría de las bases de datos) y a las opciones de uso de los registros, se han considerado en muchos estudios como la población objeto de estudio. Debemos ser conscientes de las limitaciones que tendrá cualquier estudio bibliométrico derivadas de las fuentes utilizadas. Por tanto, debemos conocer la cobertura de cada fuente de información y tener sentido crítico a la hora de interpretar los resultados y sacar conclusiones. Fuentes primarias = permite obtener la información directamente de la fuente y normalizarla conforme se recoge, pero conlleva mucho tiempo y esfuerzo, especialmente si se maneja un número elevado de datos. Fuentes secundarias = son aquellas que identifican y localizan documentos primaros. Es la forma más habitual de obtener datos. Lo óptimo es completar datos de unas fuentes con otras, pero esto puede conllevar problemas por la falta de normalización en los registros y consume mucho tiempo unificar la información. o Bases de datos: Scopus, Web of Science, Dialnet, OpenAlex, Dimensions, Semantic Scholar, PubMed, Eric… o Catálogos: inventario de los fondos de una institución. o Repositorios: gestionan, almacenan, preservan, difunden y facilitan el acceso a los objetos digitales. Suelen contener la producción científica y académica de una institución concreta. o Buscadores académicos: Google Scholar, Semantic Scholar, Dimensions. o Redes sociales académicas: ResearchGate, Academia.edu o Identificadores: ORCID, ResearchID Descarga de datos = una vez localizados los registros, el siguiente paso es pasar los datos a una tabla para poder manejarlos en Excel. Este paso puede realizarse de las siguientes maneras: Introducción manual de los datos. Exportación desde la fuente en formato CSV (texto plano tabulado) o TXT (Scopus, WOS). Importación a un gestor de referencias (EndNote, JabRef, Zotero; Mendeley no permite crear archivo CSV) para pasar los datos a CSV o TXT (Dialnet). Una vez descargado el archivo CSV o TXT se abre en Excel con la opción Datos>Obtener datos externos>Desde un archivo de texto. Preparación de la base de datos = antes de hacer el análisis estadístico, la base de datos tiene que estar lo más depurada y preparada posible. Los principales problemas que se pueden encontrar son: Problemas de consistencia en los datos por falta de normalización, especialmente en los campos de autoría y filiación. Es conveniente depurar la base de datos y codificar de la misma forma toda la información. Si hay variables que no se pueden obtener de forma directa, se tendrán que calcular a partir de las que se han medido. Si se han utilizado diferentes fuentes, además, habrá que eliminar los duplicados que se hayan podido obtener. Software para el análisis de datos = Hojas de cálculo (Excel), software de análisis estadístico (SPSS, R), software específico de bibliometría (VOSViewer, Publish or Perish, BibExcel, SciMAT, CiteSpace, Pajek), herramientas que ofrecen las bases de datos (Scopus, WOS; indicadores y gráficos limitados). 4. INDICADORES BIBLIOMÉTRICOS 4.1.INTRODUCCIÓN A LOS INDICADORES BIBLIOMÉTRICOS Los indicadores bibliométricos permiten medir (asignar valores numéricos) en cierto modo los resultados obtenidos de la investigación, a través de la producción científica derivada de ella. A través de estas medidas se podría llegar a evaluar (subjetivo) su desempeño. Indicador = parámetros que se utilizan en los procesos evaluativos de cualquier actividad, es decir, lo que se quiere cuantificar. Se utiliza como paso intermedio para analizar algo que no es medible de forma directa. Indicador bibliométrico (Spinak) = medidas objetivas, cuantificables y verificables sobre los resultados científicos que son comunicados en forma de publicaciones. Indicador bibliométrico (Maltrás) = medidas obtenidas a partir del análisis estadístico de los rasgos cuantificables de la literatura científica. Características de los indicadores bibliométricos: Para que aporten información relevante, se necesita que la población sea suficientemente amplia y representativa. Se necesitan varios indicadores e indicadores compuestos (relacionan variables entre sí) para tener una visión amplia de la realidad estudiada. Los indicadores por si mismo no aportan información útil, es necesario establecer comparaciones (temporales, respecto a otros grupos…). Hay que tener cuidado con lo que se compara, se debe hacer entre grupos similares porque si no, los resultados no serán comparables. Los indicadores deben integrarse y contextualizarse. Hay que hacer un análisis cualitativo, no solo amontonar datos estadísticos. Asimismo, hay que tener en cuenta como las decisiones tomadas en la elaboración del trabajo condicionan los resultados (por ejemplo, la base de datos de la que se extrae la información). Los indicadores pueden obtenerse de diferentes poblaciones, estableciéndose tres niveles: Nivel macro: países, regiones, disciplinas o áreas de conocimiento. Nivel meso: universidades, institutos de investigación, temas concretos de investigación. Nivel micro: investigadores individuales o grupos pequeños de investigación, revistas o publicaciones concretas. 4.2.LOS INDICADORES DE PRODUCCIÓN Indicadores bibliométricos de producción (Maltrás) = medidas, generalmente basadas en recuentos de publicaciones, que pretenden cuantificar los resultados científicos atribuibles a unos agentes determinados (investigadores), o a agregados de estos agentes (grupos de investigación, departamentos, universidades, países, disciplinas…). Son los indicadores más simples y sencillos de obtener, puesto que, a priori, se limitan a hacer recuentos de publicaciones. Pueden combinarse para obtener análisis más precisos y profundos (comparación, evolución temporal, correlación con otras variables…). Son indicadores descriptivos, que no dan información valorativa sobre la calidad o el impacto de la producción. Limitaciones de los indicadores de producción: No todas las publicaciones aportan el mismo grado de conocimiento, pero los indicadores de producción dan el mismo peso a todas. Las fuentes contienen sesgos y limitaciones en su cobertura, por lo que los resultados serán diferentes en función de la fuente utilizada. Existen diferentes pautas de publicación entre disciplinas (número de publicaciones total, tipos documentales…). Utilización de los indicadores de producción = pueden aplicarse a cualquier aspecto cuantificable de la producción científica. Los más usados son: Recuento de publicaciones = número total de publicaciones de una institución, país o investigador y porcentajes con respecto a sus pares. Características formales: o Tipos de publicaciones respecto al total o en comparación a sus pares. o Idioma de los documentos o Fuentes de publicación en el caso de las revistas o Número de autores por publicación, por medio de su media y mediana. Evolución temporal de la investigación para establecer periodos clave y cambios de tendencia en cada una de sus características. Representación con histogramas. Actividad en cada área temática. Problemas metodológicos: Falta de normalización de la información, especialmente en los nombres de los investigadores. ORCID y los identificadores propios de las bases de datos surgieron para solucionar este problema, pero no lo atajan por completo. Sería recomendable utilizar un tesauro para normalizar los datos antes de analizarlos. También se producen problemas de normalización en las materias de investigación, las palabras clave y las instituciones. Si no se puede extraer toda la información de una base de datos, resulta complicado relacionar la información de varias bases de datos ya que hace falta campos comunes, expresados de la misma forma, para identificar los registros comunes. Si no, se pueden producir duplicados que distorsionen los resultados. Además de los datos extraídos, será necesario calcular determinadas variables a partir de ellos (por ejemplo, número de autores a partir del campo autoría) o incluso buscar información adicional en otras bases de datos para complementarlos (por ejemplo, género de los autores). 4.3.LOS INDICADORES DE CALIDAD/IMPACTO Los indicadores de producción no permiten evaluar la calidad de la investigación. Resulta complicado medir el valor de la actividad científica a partir de la información plasmada en determinados documentos. Tradicionalmente se ha hecho una evaluación cualitativa a través de expertos (previa a la publicación o la asignación de fondos) que sirve como primer filtro, pero no permite evaluar la evaluación en conjunto de la producción de una persona o institución ya que conllevaría muchos recursos y podría estar afectado por los sesgos del evaluador. Desde mediados del siglo XX, con el aumento de la investigación y del coste, se planteó la necesidad de desarrollar indicadores cuantitativos orientados a medir la calidad de la investigación de forma objetiva. Sin embargo, puesto que la calidad no puede medirse directamente, hay que utilizar medidas que puedan ser directamente observables y que sean equivalentes a ella. Lo más parecido a medir la calidad de una publicación sería medir el impacto que esta tiene en otras publicaciones por medio de las citas (propuesto por Clark, 1957). Por tanto, no se medirá la calidad, sino el impacto en otras publicaciones. El procedimiento de medición se volvió más sencillo con la creación de las bases de datos ISI en los años 60. Hoy en día, el proceso se puede automatizar en gran medida facilitando la medida incluso a nivel de artículo individual (antes se media el impacto a nivel revista). En el análisis de citas es importante indicar la fuente de la que se ha tomado la información a que la cobertura y la cantidad de citas recibida variará de una base de datos a otra. En general, el número de citas y las métricas de impacto vendrán dadas por la propia base de datos, sin necesidad de calcularlas. 4.4.PRINCIPALES INDICADORES DE IMPACTO Los indicadores de impacto se van a analizar en tres niveles: a nivel de documento, de la fuente (revista) y del agente (autores). Además, se van a relacionar con cada una de las bases de datos principales. La medida más simple consiste en contar el número de citas que se ha recibido. Este valor no puede tenerse en cuenta por si mismo, ya que hay factores/sesgos que pueden afectar en él como la antigüedad (podría calcularse, por ejemplo, número de citas por año), la temática (pautas de citación diferentes en cada disciplina, a más específico menos citas se pueden recibir), el idioma (en temas generales se recibirán más citas si se publica en inglés, en temas locales es preferible el idioma del lugar), la publicación en revistas consolidadas (da más visibilidad potencial), etc. Indicadores de impacto a nivel documento: Número de citas por documento (insuficiente tal y como se ha visto antes) FWCI, Field-Weighted Citation Impact (Scopus) y CNCI, Category Normalized Citation Impact (WOS) = métricas que tienen en cuenta la fecha de publicación, la disciplina y el tipo de documento para calcular el valor de impacto del documento. En el caso del FWCI, da un valor normalizado, es decir, un valor de 1 indica que está en la media de los artículos de esa materia y año (>1, por encima de la media y