La evaluacin de la investigacin en transicin: evaluacin individual vs' evaluacin organizativa

1
La evaluación de la investigación en transición
evaluación individual vs. evaluación organizativa

• Laura Cruz-Castro y Luis Sanz-Menéndez
• Consejo Superior de Investigaciones Científicas
  (CSIC)
• Instituto de Políticas y Bienes Públicos (IPP)

2
Objetivos del trabajo

• Caracterizar la situación de la evaluación de la
  investigación (EI) en España y su evolución en la
  última década
• Evaluar el impacto de la EI en la estructura de
  incentivos de los académicos y en la asignación
  de financiación de los gobiernos
• Explorar la dinámica de cambio en la EI y sus
  factores explicativos
• El crecimiento del sistema
• El cambio de las normas y las rationales
• Los gobiernos regionales como nuevos actores
• Formular hipótesis sobe los arreglos
  institucionales que pueden fortalecer el sistema
  de EI

3
Preguntas de investigación

• Qué explica la emergencia, en España, de un
  sistema de EI centrado en los individuos mas que
  en las organizaciones?
• Por qué la EI de las organizaciones no está
  conectada con la financiación de la
  investigación?
• Cómo ha afectado la descentralización de la
  política científica al sistema de EI?
• Qué impacto ha tenido la EI sobre el SPI?

4
Evaluación y legitimación en los sistemas de
ciencia

• Mecanismos para otorgar/distribuir el
  reconocimiento y la reputación dentro del sistema
  social de la ciencia
• Mecanismos de apoyo y legitimación de la
  distribución desigual de incentivos y recursos
  desde el sistema político a la comunidad
  científica (individuos y organizaciones)
• Herramienta de dirección para organizar
  estratégicamente y dirigir las actividades de
  investigación
• Herramienta de aprendizaje que facilita
  retroalimentación sobre los resultados de
  programas y políticas de investigación
• Cada uno de estos papeles se corresponde con
  diferentes dimensiones de la evaluación, que
  pueden encontrarse en diversos grados en los
  sistemas de evaluación de la investigación

5
El motor del desarrollo del Sistema de Evaluación
de la Investigación

• Los Sistemas de EI, son el resultado de modelos
  de acción política intencional o alternativamente
  responden a una lógica de los apropiado, más
  conectada con modelos normativos contingentes de
  acción legitima de los investigadores difundidos
  entre los actores?
• Una condición necesaria de la primera es la
  existencia de burocracias fuertes (capacidades
  organizativas)

6
Rationale de la evaluación y niveles burocráticos

• Diversas justificaciones (rationales) de la
  evaluación emergen ligadas a las capacidades
  organizativas de los diversos niveles
• Gobierno y ministerios la rendición de cuentas
• Los Consejos de Investigación y Agencias de
  Financiación La excelencia y la calidad
• Organizaciones de Investigación La dirección
  estratégica

7
Financiación y autonomía de los IPI

• Alta autonomía política, pero presupuestos
  determinados externamente
• Principalmente, un régimen de financiación basado
  en proyectos y con peer review, con elementos del
  régimen programático (Whitley)
• La dirección estratégica de la investigación por
  parte de la Universidad tiene impacto limitado en
  los grupos de investigación comparado con las
  presiones de los pares y la dirección de la
  investigación hacia las prioridades establecidas
  por las agencias de financiación.
• Gran varianza de los estándares de evaluación
  entre campos científicos
• Centros Públicos de Investigación Históricamente
  menos autonomía y más presencia de financiación
  basal, pero ha cambiado con el tiempo

8
El sistema español de EI características
principales hasta mediados de los 90

• Las necesidades de legitimación del sistema
  determinaron la institucionalización de la EI,
  alrededor de 2 instituciones centralizadas
  centradas en
• Revisión por pares de las propuestas de proyectos
  para apoyar las decisiones de financiación (ANEP)
• Evaluación individual de resultados de
  investigación (CNEAI)
• A mediados de los 90 la evaluación de las
  organizaciones no existía, y la evaluación de la
  política científica era mínima
• La elección del foco era coherente con el régimen
  de financiación de la investigación y el modelo
  de relaciones entre gobierno y ciencia

9
Desarrollos recientes en el Sistema de EI

• Surgimiento de la evaluación de las universidades
• Foco en calidad docente mas que en investigación
• Evaluación no ligada a las decisiones de
  financiación
• Diversificación de las fuentes externas de
  financiación de proyectos y estructuras de
  evaluación ex ante (regionalización)
• Multiplicación de estándares y criterios
• Ligados a decisiones de financiación
• Extensión de la evaluación individual de
  resultados
• Establecida por Ley, centralmente y ligada al
  sistema de reclutamiento universitario
  (acreditación y habilitación)

10
Qué explica esta evolución?

• La expansión de la educación universitaria como
  motor de crecimiento explica el foco en docencia
  antes que en investigación
• El crecimiento del sistema de investigación
• Sobrecarga de ANEP
• Emergencia de estructuras en las regiones
• Los Gobiernos regionales como nuevos actores
• Difusión de modelos de financiación y prácticas
  de evaluación
• Cambios normativos contra la endogamia

11
Consecuencias de la evolución interacción entre
evaluación y el sistema de ciencia

• La evaluación de proyectos ligada a la
  financiación y la evaluación individual siguen
  siendo los elementos clave
• El establecimiento de estructuras paralelas de
  evaluación a nivel regional ha fragmentado el
  sistema
• La evaluación individual ha avanzado más que
  ninguna otra y extendido sus efectos
• Se ha avanzado poco en la conexión entre
  evaluación y financiación de universidades

12
Efectos en el sistema de investigación (I)

• Distribución de recursos fuerte diferenciación
  de grupos competitivos por financiación externa
• Poca capacidad de dirección estratégica de la
  investigación por parte de las organizaciones
• Elemento de acreditación externa como control de
  calidad en un mercado de trabajo dominado por la
  lógica del mercado interno

13
Efectos en el sistema de investigación (II)

• Excelencia evaluada y acreditada como filtro para
  participar en tareas reproductivas del sistema
• Efectos reputacionales de los individuos por sus
  resultados
• Internacionalización e impacto indirecto de los
  indicadores bibliométricos
• Poca diferenciación a nivel de las instituciones

14
Qué arreglos institucionales para el futuro?

• Regionalización es un obstáculo o una oportunidad
  para experimentación y posterior difusión de las
  buenas prácticas de evaluación? (isomorfismo
  imitador)
• Recentralización de las instituciones de
  evaluación en un nivel superior al regional
  (nacional, Europeo). (isomorfismo coercitivo),
  poco probable
• Estándares compartidos por la comunidad
  investigadora (isomorfismo normativo)
• Dónde situamos la evaluación para lograr
  eficacia en la asignación de recursos sin perder
  estándares legitimados y compartidos?

15
(No Transcript)
16
Gasto en ID en las Universidades ha
aumentado(gasto sobre PIB). Total OCDE
17
La proporción de investigadores en Universidades
ha caído de investigadores en universidades
sobre el total nacional
18
Las grandes empresas cooperan mas con las
universidadesCooperación para la innovación con
universidades como del total de empresas
innovadoras 2002-2004