Isidro F' Aguillo, Jos L' Ortega,

1
Medida de la actividad y comunicación científica
mediante indicadores cibermétricos

• Isidro F. Aguillo, José L. Ortega,
• José A. Prieto, Begoña Granadino

2
Evaluación Situación y perspectivas

• Importantes sesgos en las herramientas de
  evaluación
• Sobre-representación de las publicaciones
  anglosajonas y en inglés
• Inadecuada presencia de las ciencias sociales y
  humanas y la tecnología
• Errores
• Utilización indiscriminada del FI
• Diseñado para revistas, se utiliza para el
  análisis de países, instituciones o individuos
• Evaluación de individuos o grupos según las citas
  esperadas y no las reales
• Escasos estudios combinados, considerando otros
  resultados de la actividad de ID

3
Ventajas de la presencia en el Web

• Económicas
• La publicación en el Web es más económica
• Los servidores y los sistemas de almacenamiento
  son cada vez más potentes y asequibles
• Socio-culturales
• El Web es ubicuo, lo que garantiza una mayor
  accesibilidad, incluso desde países en vías de
  desarrollo
• El carácter distribuido del Web asegura cierta
  universalidad temática, geográfica, lingüística y
  cultural
• Científicas
• La publicación es más rápida
• Se puede aplicar evaluación por pares
• La publicación puede ser más rica (datos
  originales, gráficos y tablas complejas, ficheros
  media)
• Refleja la comunicación informal y la realización
  de un más amplio espectro de actividades

4
Indicadores cibermétricos

• Medida del conjunto de la actividad académica e
  investigadora de una institución
• No solo de los trabajos publicados en revistas de
  prestigio (medida sesgada para tecnólogos,
  científicos sociales y humanistas)
• Refleja mejor los procesos de comunicación
  informal y las actividades complementarias
• Se mide también ruido, dada la dificultad de
  identificar la información de calidad
• Medida de impacto ampliada a través de la
  visibilidad hipertextual
• Se incluye un rango de motivaciones de enlace más
  amplio y por parte de más actores, no solo de los
  pares
• Pero la cita bibliográfica es más precisa
• Medidas muy útiles a nivel institucional
• Además del impacto científico, permite la
  evaluación del consumo de información (impacto
  social, cultural) o la identificación de
  relaciones entre instituciones (impacto
  industrial, económico, triple hélice)
• Los indicadores cibermétricos se pueden combinar
  con otros indicadores tradicionales
  (bibliométricos, patentométricos,
  cienciométricos)
• La interpretación no siempre es fácil y quedan
  por resolver problemas metodológicos

5
Objetivos

• Medir la visibilidad real e impacto de la
  presencia de instituciones de ID en el Web
• Comparar las instituciones más productivas de
  acuerdo a criterios bibliométricos y
  cibermétricos
• Posicionar las universidades y centros de
  investigación respecto a organizaciones de su
  propio país
• Evaluar si existen diferencias entre
  instituciones y grupos de carácter tecnológico y
  los dedicados a la investigación científica
• Ponderar la visibilidad de la actividad
  científica en los países del Tercer Mundo
• Identificar el tipo de información que publican
  las instituciones en sus sedes Web, especialmente
  las fases de la actividad científica aspectos
  teóricos, métodos, herramientas, datos,
  comunicación científica, divulgación, docencia,
  explotación de resultados
• Estimar la madurez del sistema y el peso relativo
  de las páginas personales

6
Poblaciones estudiadas

• 9330 dominios institucionales de universidades de
  todo el mundo
• Google, Yahoo Search, MSN Search y Teoma (Enero
  2005)
• 100 universidades mejor posicionadas
• Essential Science Indicators (ISI, 1994-2004)
• Academic Ranking of World Universities (Univ.
  Shanghai, 2004)
• World Universities Rankings (The Times, 2004)
• 947 páginas más visibles del Web hispanohablante
• PageRank de Google (Febrero 2005)
• 50 universidades españolas más productivas
• SCI-CINDOC (Periodo 1996-2001)

7
Fuentes
8
Tamaño
? de Spearman plt 0,01

• Correlación positiva estadísticamente
  significativa entre los datos de tamaño de todos
  los motores
• Los robots de los buscadores recopilan e indizan
  de forma distinta y el esquema temporal de
  visitas varía entre ellos. El solapamiento entre
  resultados es bajo.
• La correlación soporta la consistencia de
  combinar los datos de los motores

9
Visibilidad
? de Spearman plt 0,01

• Sólo dos motores permiten el cálculo de la
  visibilidad (enlaces externos recibidos).
• Existe una alta correlación entre ambos valores,
  que es estadísticamente significativa
• La correlación positiva confirma la opción de
  sumar los resultados

10
Ficheros ricos
? de Spearman plt 0,01

• Los ficheros ricos han sido extraídos merced al
  buscador Google y el comando filetype
• Los tipos elegidos corresponden a los más
  frecuentemente utilizados, especialmente aquellos
  reservados a procesos de comunicación académica o
  científica
• Como en casos anteriores, la alta correlación
  existente justifica su combinación como medida
  única

11
Ranking
? de Spearman plt 0,01

• I2RS4RVRR
• La medida de impacto se construye mediante
  combinación de las posiciones relativas de cada
  dominio ( R ) respecto a los tres indicadores
  descritos (Stamaño, Vvisibilidad, Rficheros
  ricos), cuya correlación es alta y significativa
• Los pesos se asignan arbitrariamente,
  considerando cual podría ser la contribución
  relativa de cada indicador

12
Análisis comparativo (I)
? de Spearman plt 0,01

• ESI-ISI Criterios bibliométricos
• Número de citas recibidas en 10 años (desde
  revistas fuente ISI)
• Shanghai Jiao Tong University Visibilidad
• Publicaciones, Premios (Nóbel), Tamaño
• Times Popularidad
• Publicaciones, encuestas de opinión
• Correlación significativa entre todos los
  rankings
• Alta entre ESI, Shanghai y Web
• No tan alta con los datos del Times

13
Análisis comparativo (II)

• El ranking Web ...
• Complementa los criterios bibliométricos
• Ofrece resultados generales similares a los otros
  métodos
• Pero ...
• Las universidades tecnológicas aparecen mejor
  posicionadas
• La investigación biomédica no es tan prominente
  como en el listado ISI
• Las grandes universidades de países en vías de
  desarrollo no aparecen desplazadas
• Los países escandinavos aparecen bien
  representados en un modelo general donde las
  universidades norteamericanas dominan claramente
  la escena
• Las universidades alemanes están presentes
• Las universidades francesas y japonesas aparecen
  muy retrasadas

14
PageRank (I)

• Web hispanohablante
• 947 páginas con mayor PR (104 universitarias)
• Resultados parecidos pero no iguales al ranking
  Web
• Gran peso de las instituciones académicas en la
  vertebración del Web hispano
• Especialmente de las universidades españolas
• Limitaciones
• Válido para páginas, no para dominios
• No aplicable a escenarios plurinacionales o
  globales

15
PageRank (II)
? de Spearman plt 0,01

• Universidades españolas
• 50 más productivas según artículos publicados en
  el SCI en el periodo 1996-2001 (CINDOC, 2004)
• Mejora de la posición de las universidades
  tecnológicas en las rankings basados en el Web

16
Otros indicadores
? de Spearman plt 0,01

• Ficheros ricos
• La mayor correlación encontrada entre ficheros
  pdf, doc y ppt con el número de publicaciones
  indica que estos son un indicador de actividad
  científica, aunque son formatos también
  utilizados con fines administrativos
• Los ficheros ps, utilizados por ingenieros,
  físicos o matemáticos, presentan una correlación
  más baja con el SCI, donde abunda la producción
  biomédica
• Subdirectorios y páginas personales
• El número de subdirectorios puede indicar una
  mayor madurez del sistema y, por tanto, una mayor
  capacidad productiva
• Se necesita un análisis más fino, ya que es
  probable que se trate de páginas de grupos de
  investigación

17
Sesgos y limitaciones

• Sesgos geográficos y lingüísticos
• Suma del tamaño de los dominios universitarios
  por países
• Tamaño de Google se normaliza al 100 y se ajusta
  el resto
• Teoma presenta importantes desviaciones
• Google parece subestimar los países asiáticos y
  los eslavos (problemas con el alfabeto?)

18
Conclusiones

• Los indicadores cibermétricos son bastante
  robustos estadísticamente y pueden ser utilizados
  para la evaluación de instituciones y grupos.
• La combinación de datos de tamaño, visibilidad
  hipertextual y número de ficheros ricos ofrece un
  ranking cuyos resultados son comparables a los
  producidos por otros indicadores de impacto.
• Los indicadores basados en el Web parecen
  reflejar mejor las contribuciones de
  instituciones de países en vías de desarrollo, de
  los tecnólogos e ingenieros y posiblemente de
  científicos sociales y humanistas.
• La cibermetría puede ayudar a superar algunas
  limitaciones de los indicadores bibliométricos,
  pero es necesario resolver ciertos sesgos
  geográficos y lingüísticos que presentan los
  motores de búsqueda.

19
Más información

• Laboratorio de Internet internetlab.cindoc.csic.es
  
• Revista Cybermetrics www.cindoc.csic.es/cybermetri
  cs
• Proyecto EICSTES www.eicstes.org
• Proyecto WISER www.webindicators.org
• Ranking Web www.webometrics.info

20
(No Transcript)