Jos

1
Uso y maluso.de los índices de citación

• José Antonio de la Peña
• Director Adjunto de Ciencia, CONACyT
• Instituto de Matemáticas, UNAM
• Octubre 2009.

2
Importancia de los índices de citación.

• Para evaluar personas, revistas, facultades,
  países se ha vuelto importante el conocimiento de
  indicadores de citación
• Número de citas
• Factor de impacto
• Número h
• y otros indicadores.
• Todos son herramientas útiles para entender mejor
  el desempeño académico de la entidad estudiada.

3
Thomson Reuters Products The table below serves
as a guide to which Thomson Reuters products can
help achieve specific goals Who?
Goal
Thomson Reuters Solution Administrators
Evaluate, benchmark, promote University


Science Indicators Department Chairs/
Departmental information nstitutional
Citation Report

Essential Science Indicators Librarians
Information retrieval Web
of Science

Journal Use Reports

Citation Report Researchers
Information retrieval Web of
Science University Science Indicators National
Science Indicators
4
Thomson (heredero de ISI)

• Sus servicios cubren más de 16,000 revistas
  internacionales, libros y memorias en las
  ciencias, ciencias sociales y humanidades.
• Entre los productos principales disponibles a
  través del Web of Science (creado en 1997) son
• Los índices de citas (Citation Indexes)
• Journal Citation Reports
• Otras bases de datos importantes
• Scopus de Elsevier,
• SCImago (página pública) con la base
  Scopus.

5
Producción científica latinoamericana
6
Increasing production in LAC
Source G. Lemarchand (2008)
7
Creciente coautoría entre los países
iberoamericcanos
Source G. Lemarchand (2008)
8
Actuación unificada LAC estudio de redes.

• Medida de la integración LAC
• Posicionamiento global.

300
7
6
11
17
15
7
3
1
Joint publications (in hundreds) Data NSF 2005.
1.3
9
Qué tan lejos ir en el uso de los índices?

• It is the Governments intention that the current
  method for determining the quality of university
  researchthe UK Research Assessment Exercise
  (RAE)should be replaced after the next cycle is
  completed in 2008. Metrics, rather than
  peer-review, will be the focus of the new system
  and it is expected that bibliometrics (using
  counts of journal articles and their citations)
  will be a central quality index in this system.
  Evidence Report 2007, p. 3
• The sole reliance on citation data provides at
  best an incomplete and often shallow
  understanding of researchan understanding that
  is valid only when reinforced by other judgments.
  Numbers are not inherently superior to sound
  judgments.

10
Un número basta?

• Basta un número para describir adecuadamente el
  comportamiento de una entidad académica?
• Línea es descrita por la longitud.
• 2 cm 1 cm
• 
  10 cm
• 5 cm
• el número 10 lo describe adecuadamente?

11
Test de inteligencia

• Alfred Binet 1904
• Lewis Terman 1916 Stanford IQ
• Binet diseñó el test para identificar niños con
  problemas de desarrollo mental, NO para comparar
  niños sanos.
• En US el test cambia de cometido. Goddard piensa
  que la inteligencia es un número que no cambia
  en la vida. Se usa para catalogar a la genta en
  la escuela y el ejército de acuerdo a sus
  habilidades naturales.
• Army alpha
• Army beta (no English required)

12
Número de citas un buen indicador?
13
(No Transcript)
14
Matemáticos más citados 1991-2001

Pierre-Louis Lions University of Paris 9 Mathematics 75 1207
David L. Donoho Stanford University Statistics 27 1182
Adrian F.M. Smith Univ. London Statistics 40 1026
Elizabeth A. Thompson U. Washington Biostatistics 11 973
Iain M Johnstone Stanford University Statistics 17 968
Jianqing Fan Chinese U. Hong Kong Statistics 53 901
Donald B. Rubin Harvard University Statistics 38 854
Ingrid Daubechies Princeton University Mathematics 20 807
Adrian E. Raftery U. Washington Statistics/Sociol. 31 804
Alan E. Gelfand U. Connecticut Statistics 35
En promedio obtuvieron 2 citas por artículo
publicado por año!
15
Número de citas un buen indicador?

• A cita a B A B
• Juan 1
• quién es mejor? Juan 2 B
  o Einstein B
• Juan 3
• Juan 4
  
• 
  c 1
• 
  b 1
  c 2 b 1
• o simplemente b 2
  a o bien c 3
  a
• 
  
  c 4
  b 2
• 
  b 6 c 5

16
Estudio sobre los índices de citación.

• Joint IMU/ICIAM/IMS-Committee on Quantitative
  Assessment of Research
• Robert Adler, TechnionIsrael Institute of
  Technology
• John Ewing (Chair), American Mathematical Society
  
• Peter Taylor, University of Melbourne
• Del encargo
• The drive towards more transparency and
  accountability in the academic world has created
  a "culture of numbers" in which institutions and
  individuals believe that fair decisions can be
  reached by algorithmic evaluation of some
  statistical data unable to measure quality (the
  ultimate goal), decision-makers replace quality
  by numbers that they can measure. This trend
  calls for comment from those who professionally
  deal with numbers mathematicians and
  statisticians.

17
Definición del índice de impacto de una
revista. El número de citas promedio (en
cualquier revista) de los artículos publicados en
los dos años previos en la revista dada.
18
Qué mide el factor de impacto? PAMS tiene
índice de impacto (en 2004) de 0.434 y TAMS tiene
0.836. Cuál es la probabilidad de que mi
artículo en TAMS reúna más citas que mi artículo
en PAMS, ambos escritos en 2004? Sólo 38 de
probabilidades! Porqué?
19
Qué mide el número h? Por definición h es el
número máximo i de artículos que tienen al menos
i citas.
En el artículo dónde definió el número h, Hirsch
dice que el índice da una estimación del impacto
acumulado de las contribuciones del científico.
No se da ningún argumento sobre el significado
del índice, pero es fácil construir ejemplos que
muestran un comportamiento errático del índice.
A
B Artículos 2
100 Citas 2 c/u
1 c/u h 2
1
20
Redes matemáticas
Cada nodo tiene un peso diferente en la red,
de acuerdo al papel del nodo en la conectividad
de la red. El peso del nodo se determina de
acuerdo con el Teorema de Perron. En la red
dibujada, el nodo marcado con el cuadrado tiene
el mayor peso seguido por el nodo marcado por el
círculo. El peso de los nodos en la red de
links entre las páginas de Internet es la base
del cálculo que hace Google para establecer sus
respuestas a consultas. Este criterio puede
usarse también para la toma de decisiones dónde
construir una estación de trenes importante en la
red ferroviaria? dónde colocar un laboratorio
nacional que de servicio a instituciones de una
región?
21
Un modelo matemático para el problema de
la citación.

• 1
  0 0 1 0
• 3
  4 0 0 1 0 matriz de incidencia
• 2
  1 1 0 1
• 0 0 1 0 1 1
  0 0 1 0
• 0 0 1 0 1 a 1
• 1 1 0 1 a a
  con a2 3.
• 0 0 1 0 1 1
  
• Teorema de Perron Dada una matriz A
  correspondiente a una gráfica conexa, existe un
  vector u con entradas positivas y un número
  positivo r ( r(A) llamado radio espectral) tales
  que
• A u r u
  

22
La red de citas de artículos

• Sean artículos a1, a2 , , an con citas entre
  si resulta una gráfica dirigida C de citas.
  Consideremos la gráfica subyacente GC y el
  radio espectral r r(G).
• Ejemplo a1
  a1
• a3 a4
  a3 a4 r2.17
• a2 a2
• Lemma c promedio de citas recibidas,
• c - promedio de artículos
  citados en c/art.
• Entonces c c - m /n, donde n
  vértices en G
• 
  m aristas en G
• 2 c r(G)
  max valG(ai)

23
El índíce P de un artículo.

• La historia de citación de un artículo
  
  a1
  a1 ½
  0 1 0 0 0
• a3 a
  a3 a
  1 1 0 ½ ½
• a2
  a2
  ½ 1 0 ½ 0 0 0
• a1
  2/3
  0 ½ 0 0 1/3
• 
  historia de a 0
  0 0 0 1/3 0
• d H(a) ? N , b dist(b,a)
  M(a,v)
• v H(a) ? R, valores 1 independientes of
  distancia el valor de la cita histórica
  disminuye con la distancia.
• Índice P(erron) de a P(a) r(M(a,v)) , donde
  M(a,v) se construye sustituyendo en la matriz de
  incidencia de G(a) H(a) la entrada aik 1
  por la entrada v(i) . v(k)

24
Primeras observaciones.

• Lemma v(1)1 y v(s) 0 para s gt 1, entonces P(a)
  vc(a),
• De manera que el orden de P es el mismo que el de
  de citas.
• Teorema Sea C una gráfica de citas y G la
  gráfica subyacente. Elegimos a en C y fijamos una
  función de valores v. Entonces
• vc(a)
  P(a) r(G).
• El índice P
• Generaliza el conteo de citas
• Toma en cuenta la historia de las citas
• Puede variar la función de valores v de
  disciplina en disciplina.