Diapositiva 1

1
UNIVERSIDAD ROVIRA I VIRGILI II Jornadas de
Presidentes de Comisiones de Doctorado de
Universidades Españolas
Las Agencias de Calidad de las Comunidades
Autónomas y los estudios de postgrado
Tarragona, 3 y 4 de noviembre de 2003
Manuel Barbancho Medina Director de la Unidad
para la Calidad de las Universidades Andaluzas
(UCUA) Clemente Navarro Coordinador del proyecto
experimental andaluz de evaluación de títulos de
postgrado (UPO)
2
I
Agencia Andaluza de Calidad Universitaria
competencias y funciones
II
El proyecto experimental andaluz de evaluación de
títulos de postgrado
3
Competencias de las Agencias según la LOU

• La LOU resalta explícitamente que una de las
  principales innovaciones viene dada por la
  introducción en el sistema universitario de
  mecanismos externos de evaluación de su calidad.
  Para ello promueve la creación de la Agencia
  Nacional de Evaluación y Acreditación y de las
  Agencias Autonómicas, a través de sus respectivas
  Leyes.
• Dichas Agencias asumen, en sus ámbitos
  respectivos, las competencias de evaluación,
  certificación o acreditación de las enseñanzas,
  de la actividad investigadora, docente y de
  gestión del PDI y de los servicios y programas de
  las Universidades, para promover y garantizar la
  calidad de las mismas.

4
Competencias de las Agencias según la LOU
Las funciones de evaluación, certificación y
acreditación (referidas en el apartado 2 del artº
31), en el ámbito de sus competencias,
corresponden al órgano de evaluación que la Ley
de la Comunidad Autónoma determine, sin perjuicio
de las que desarrollen otras Agencias de
evaluación del Estado o de las Comunidades
Autónomas.
Artº 31.3
5
LA EVALUACIÓN DE LA CALIDAD EN ANDALUCÍA según
la LAU
Ley Orgánica de Universidades
Ley Andaluza de las Universidades
ANECA
Creación Agencia Andaluza de Evaluación y
Acreditación (desaparición UCUA)
6
ASIGNACIÓN DE FUNCIONES RELACIONADAS CON LA
POLÍTICA DE CALIDAD Y EVALUACIÓN
7
ESTRUCTURA DE LA AGENCIA
Estructura Agencia
Organismo Autónomo de carácter administrativo
8
ESRUCTURA FUNCIONAL DE LA AGENCIA
SUBCOMISIONES ASESORAS ESPECÍFICAS
Área de Docencia y Gestión Docente

• COMPOSICIÓN
• P Subdirector(es) Área(s)
• Expertos en las materias
• Composición equilibrada y adaptada a la función
  encomendada

Área de Investigación
Estructura Funcional
Área de Administración y Servicios
9
FUNCIONES Y RETOS DE LA AGENCIA DE CALIDAD
EVALUACIÓN DE PROGRAMAS Y UNIDADES
ACREDITACIÓN Y CERTIFICACIÓN
EVALUACIÓN DE ACTIVIADES DEL PDI
FORMACIÓN, ESTUDIOS Y DOCUMENTACIÓN
EVALUACIÓN Plan Andaluz Investigación
EVALUACIÓN PROFESORADO
AA petición de las Universidades, Consejería de
Educación y Ciencia, organismos públicos y
privados y particulares.
10
Las Relaciones de la Agencia
11
El proyecto experimental andaluz de evaluación de
títulos de postgrado
Índice

• Objetivos y agentes de la Evaluación
• La Lógica del Proceso de Evaluación
• Estructura, contenidos y procesos
• Factores y funciones en los procesos
• El sistema de indicadores
• El desarrollo del proceso de evaluación
• Las fuentes y los instrumentos
• El Informe de Evaluación
• El diagnóstico
• El Plan de Mejora

12

• Objetivos y agentes de la Evaluación

• OBJETIVO GENERAL
• Mejora del título evaluado, desde una reflexión
  colectiva y múltiple
• (enseñanza, investigación y gestión)
  enfocada al alumnado como
• destinatario de la formación y usuario del
  servicio.

• OBJETIVOS ESPECÍFICOS
• Establecer y validar criterios e indicadores
• Experimentar el Manual
• Analizar el proceso de evaluación
• Identificar fortalezas y debilidades
• Proponer un Plan de Mejora

13

• Objetivos y agentes de la Evaluación

• AGENTES
• Estudiantes
• Profesorado
• Tutores de investigación tutelada
• Directores de Tesis Doctorales
• Tribunales de Trabajos de investigación y Tesis
  Doctorales
• Coordinadores de Programas
• PAS
• Comisiones de Doctorado Departamentos
• Comisiones de Doctorado de la Universidad

• COMITÉ

14

• La Lógica del Proceso de Evaluación PROCESOS Y
  RESULTADOS

Maestría
Título propio
15

• La Lógica del Proceso de Evaluación FACTORES Y
  FUNCIONES

DEMANDA
DESARROLLO
RESULTADO
OFERTA
16

• La Lógica del Proceso de Evaluación EL SISTEMA
  DE INDICADORES

17
CÓDIGO DEL INDICADOR
Inicial del proceso . ordinal
DATOS DEL INDICADOR DATOS DEL INDICADOR DATOS DEL INDICADOR
PROCESO PROCESO Indicar el proceso al que se refiere el indicador, de entre los siguientes SELECCIÓN, DOCENCIA, INVESTIGACIÓN y ELABORACIÓN DE TESIS
DENOMINACIÓN DENOMINACIÓN Nombre que se asigna al indicador
OPERACIONALIZACIÓN OPERACIONALIZACIÓN Fórmula a aplicar para el cálculo del indicador
RECORRIDO RECORRIDO Intervalo que incluye el conjunto de valores que puede tomar el indicador
DESCRIPCIÓN DESCRIPCIÓN Breve descripción del indicador. En los casos en que es necesario, se incluye un sencillo ejemplo, para facilitar la interpretación del resultado de la operacionalización
ÁMBITO (nivel agregación) ÁMBITO (nivel agregación) Para todos los casos, el nivel de agregación es el PROGRAMA DE DOCTORADO
FUENTES (informantes) FUENTES (informantes) Origen de la información necesaria para el cálculo del indicador
INSTRUMENTOS INSTRUMENTOS Soporte utilizado para la recogida de la información
TIEMPO TIEMPO Temporalización de la medida del indicador. En los procesos de SELECCIÓN, DOCENCIA e INVESTIGACIÓN se ha tomado el BIENIO y en el de ELABORACIÓN DE TESIS, el SEXENIO
18
RASGOS DEL INDICADOR D.17 RASGOS DEL INDICADOR D.17 RASGOS DEL INDICADOR D.17
FACTOR Hace referencia a los elementos que intervienen en cada proceso Demanda
FACTOR Hace referencia a los elementos que intervienen en cada proceso Oferta
FACTOR Hace referencia a los elementos que intervienen en cada proceso Desarrollo
FACTOR Hace referencia a los elementos que intervienen en cada proceso Resultados
FUNCIÓN actividades que se desarrollan en cada proceso Enseñanza
FUNCIÓN actividades que se desarrollan en cada proceso Investigación
FUNCIÓN actividades que se desarrollan en cada proceso Apoyo investigación
FUNCIÓN actividades que se desarrollan en cada proceso Gestión
CARÁCTER Descriptivo Evidencia
CARÁCTER Evaluativo Valoración
MEDICIÓN escala o nivel de medición del indicador Nominal (cualitativa)
MEDICIÓN escala o nivel de medición del indicador Ordinal (cuantitativa)
MEDICIÓN escala o nivel de medición del indicador Interval (cuantitativa)
19
APLICACIÓN DEL INDICADOR Factores y Procesos sobre los que influye el indicador. APLICACIÓN DEL INDICADOR Factores y Procesos sobre los que influye el indicador. APLICACIÓN DEL INDICADOR Factores y Procesos sobre los que influye el indicador. APLICACIÓN DEL INDICADOR Factores y Procesos sobre los que influye el indicador. APLICACIÓN DEL INDICADOR Factores y Procesos sobre los que influye el indicador.
PROCESOS PROCESOS PROCESOS PROCESOS
FACTORES Selección Docencia Investigación tutelada Tesis doctoral
Demanda
Oferta
Desarrollo
Resultado
20
CÓDIGO DEL INDICADOR
D.17
DATOS DEL INDICADOR DATOS DEL INDICADOR DATOS DEL INDICADOR
PROCESO PROCESO DOCENCIA
DENOMINACIÓN DENOMINACIÓN Calidad del éxito de la fase docente
OPERACIONALIZACIÓN OPERACIONALIZACIÓN S Calificaciones medias de los alumnos con CD D.17 Nº total de alumnos con CD 1 aprobado. 2 notable. 3 sobresaliente. 4 matrícula de honor
RECORRIDO RECORRIDO (1,4)
DESCRIPCIÓN DESCRIPCIÓN Hablaremos de calificaciones o notas medias dependiendo de si , en el certificado que obtiene el alumno una vez concluye el Periodo de Docencia con éxito, su calificación final viene reflejada por una puntuación directa, o bien, por una nota media de diferentes puntuaciones específicas. Este indicador aporta información relevante sobre la calidad del éxito de la fase docente suponiendo que, a mayor calificación final, mayor calidad de la docencia.
ÁMBITO (nivel agregación) ÁMBITO (nivel agregación) Programa de doctorado
FUENTES (informantes) FUENTES (informantes) Área de Expedientes Académicos (numerador) Unidad de Gestión de Tercer Ciclo (denominador)
INSTRUMENTOS INSTRUMENTOS Base de datos del Área de expedientes Académicos (D_Exp) Base de datos de Unidad de Gestión de Tercer Ciclo (D/UGTC)
TIEMPO TIEMPO Bianual
21
RASGOS DEL INDICADOR D.17 RASGOS DEL INDICADOR D.17 RASGOS DEL INDICADOR D.17
FACTOR Hace referencia a los elementos que intervienen en cada proceso Demanda
FACTOR Hace referencia a los elementos que intervienen en cada proceso Oferta
FACTOR Hace referencia a los elementos que intervienen en cada proceso Desarrollo
FACTOR Hace referencia a los elementos que intervienen en cada proceso Resultados
FUNCIÓN actividades que se desarrollan en cada proceso Enseñanza
FUNCIÓN actividades que se desarrollan en cada proceso Investigación
FUNCIÓN actividades que se desarrollan en cada proceso Apoyo investigación
FUNCIÓN actividades que se desarrollan en cada proceso Gestión
CARÁCTER Descriptivo Evidencia
CARÁCTER Evaluativo Valoración
MEDICIÓN escala o nivel de medición del indicador Nominal (cualitativa)
MEDICIÓN escala o nivel de medición del indicador Ordinal (cuantitativa)
MEDICIÓN escala o nivel de medición del indicador Interval (cuantitativa)
22
APLICACIÓN DEL INDICADOR Factores y Procesos sobre los que influye el indicador. APLICACIÓN DEL INDICADOR Factores y Procesos sobre los que influye el indicador. APLICACIÓN DEL INDICADOR Factores y Procesos sobre los que influye el indicador. APLICACIÓN DEL INDICADOR Factores y Procesos sobre los que influye el indicador. APLICACIÓN DEL INDICADOR Factores y Procesos sobre los que influye el indicador.
PROCESOS PROCESOS PROCESOS PROCESOS
FACTORES Selección Docencia Investigación tutelada Tesis doctoral
Demanda
Oferta
Desarrollo
Resultado
23
CÓDIGO DENOMINACIÓN
S.1 Competitividad de la demanda
S.2 Demanda extranjera
S.3 Interdisciplinariedad de la oferta
S.4 Satisfacción con servicio de U. Gestión 3er Ciclo
S.5 Satisfacción con servicio de Área Gestión Expedientes Académicos
S.6 Satisfacción de alumnos extranjeros con acogida
S.7 Calidad de la demanda
S.8 Matrícula extranjera
S.9 Intención obtener título Doctor
Factor
Demanda
Demanda
Oferta
Desarrollo
Desarrollo
Desarrollo
Resultados
Resultados
Resultados
24
D.1 Alumnos matriculados por programa
D.2 Nivel de asistencia a clase
D.3 Media de sexenios por profesor
D.4 Interdisciplinariedad del profesorado
D.5 Proporción de profesores extranjeros
D.6 Existencia de programa en la asignatura
D.7 Utilidad de la asignatura en la definición del proyecto de investigación
D.8 Relación de la asignatura con el conjunto del programa
D.9 Contribución del sistema de evaluación a la definición del proyecto de investigación
D.10 Relación de la coordinación del programa con el alumnado
D.11 Coordinación Biblioteca-Programa
D.12 Satisfacción de la Coord. del Programa con equipa/ y servicios informáticos
D.13 Satisfacción del alumnado con servicio prestado por Biblioteca
D.14 Satisfacción del alumnado con el equipa/ y servicios informáticos
D.15 Satisfacción del profesorado con servicio prestado por U.Gest. 3erC
D.16 Tasa de éxito en la fase docente
D.17 Nivel del éxito de la fase docente
Demanda
Demanda
Oferta
Oferta
Oferta
Desarrollo
Desarrollo
Desarrollo
Desarrollo
Desarrollo
Desarrollo
Desarrollo
Desarrollo
Desarrollo
Desarrollo
Resultado
Resultado
25
I.1 Carga Tutorial
I.2 Adecuación del área de investigación
I.3 Dedicación Tutorial
I.4 Sexenios de Investigación del tutor
I.5 Reconocimiento a la labor tutorial
I.6 Cobertura Científica del Alumno
I.7 Valoración de la labor tutorial
I.8 Autovaloración de la dedicación del alumno
I.9 Satisfacción del alumno con el servicio de Biblioteca
I.10 Satisfacción alumno con los servicios informáticos
I.11 Éxito del DEA
I.12 Nota media calificación tesinas
I.13 Valoración tesinas por el Tribunal
Demanda
Oferta
Oferta
Oferta
Oferta
Oferta
Desarrollo
Desarrollo
Desarrollo
Desarrollo
Resultados
Resultados
Resultados
26
T.1 Carga de Dirección
T.2 Sexenios de investigación del Director de Tesis
T.3 Cobertura Científica del Doctorando
T.4 Éxito de la lectura de la Tesis Doctoral
T.5 Nota media calific. Tesis Doctoral
T.6 Valoración Tesis por parte del Tribunal
Oferta
Oferta
Desarrollo
Resultados
Resultados
Resultados
Proceso Nº indicadores
Selección 9
Docencia 17
Investigación 13
Tesis 6
TODOS 45
27

• El desarrollo del proceso de evaluación Las
  fuentes y los instrumentos

28
(No Transcript)
29

• El Informe de Evaluación El diagnóstico

Ficha para punto débil o fuerte. Aplicación
práctica
30
Ficha para propuesta de mejora. Aplicación
práctica
31
Evaluación de indicadores1.
CÓDIGO DENOMINACIÓN COMPRENSIÓN2 1 2 3 4 5 RELEVANCIA3 1 2 3 4 5 ESFUERZO 4 1 2 3 4 5 PROCESOS
S.1 Competitividad de la demanda SELECCIÓN
S.2 Demanda extranjera SELECCIÓN
S.3 Interdisciplinariedad de la oferta SELECCIÓN
S.4 Satisfacción con servicio de U. Gestión 3er Ciclo SELECCIÓN
S.5 Satisfacción con servicio de Área Gestión Expedientes Académicos SELECCIÓN
S.6 Satisfacción de alumnos extranjeros con acogida SELECCIÓN
S.7 Calidad de la demanda SELECCIÓN
S.8 Matrícula extranjera SELECCIÓN
S.9 Intención obtener título Doctor SELECCIÓN


1 El Comité valorará la comprensión, relevancia
y esfuerzo de los indicadores en una escala de 1
(bajo) a 5 (alto). En el caso de no tener
respuesta clara, marcar 1. 2 Los indicadores se
comprenden fácilmente y están enunciados con
claridad 3 Los indicadores son claves para
comprender y mejorar el título evaluado 4 Nivel
de esfuerzo requerido para calcular el indicador
32
TÍTULOS A EVALUAR EN EL PLAN EXPERIMENTAL DE
EVALUACIÓN DE TERCER CICLO, MAESTRÍAS Y TÍTULOS
PROPIOS DE LA UCUA UPO T. Propio "Curso de
especialista universitario de Gestión de Empresas
Cooperativas UNIA VI Maestría en Conservación
del Medio Natural VI Maestría en Desarrollo
Económico en América UGR Master en Museología
Experto Universitario en Derecho de
Extranjería UCA Programa Doctorado Ciencias y
Tecnologías Químicas UCO Titulación Superior en
Desarrollo Rural Curso Postgrado de Orientación
Familiar
GRUPO REDACTOR DEL MANUAL (UPO) Responsable
Clemente J. Navarro Equipo Ana Villarán
Rocío Guevara Cristian Suárez Milagro Cornejo
33
http//www.ucua.es