Naar een indicatorenstelsel

1
Naar een indicatorenstelsel

• Jim Allen
• Ger Ramaekers
• Rolf van der Velden
• Researchcentrum voor Onderwijs en Arbeidsmarkt

2
Achtergrond

• Met accreditatiekader meer aandacht voor de
  resultaten van onderwijs behoefte aan
  indicatoren
• Er wordt wel veel onderzoek verricht naar de
  resultaten van onderwijs, maar een integrerend
  kader ontbreekt
• Dit paper is een aanzet voor een
  indicatorenstelsel op basis van bestaande data in
  HBO- en WO-Monitor

3
Eisen indicatorenstelsel

• Wetenschappelijk gebaseerd op relevante
  inzichten
• Absolute maatstaf niet alleen rangordening
• Differentiatie dekkend voor alle dimensies
• Vergelijkbaarheid mogelijkheid tot benchmarking
  tussen instellingen en opleidingen
• Inzichtelijkheid
• Efficiëntie eenvoudig te verzamelen

4
Wat is kwaliteit

• Twee aspecten doeltreffend en doelmatig
• Doeltreffendheid (of effectiviteit) vervult het
  onderwijs de functies die ze moet vervullen?
• Doelmatigheid (of efficiëntie) mate van
  kostenefficiëntie waarmee deze functies vervuld
  worden

5
Drie functies van onderwijs

• Kwalificatiefunctie het bijbrengen van relevante
  kennis, vaardigheden en houdingen
• Selectiefunctie beoordelen van studenten op
  aanwezige competenties en op grond hiervan
  certificeren
• Allocatiefunctie toeleiden naar functies op de
  arbeidsmarkt

6
Elke functie heeft een doelmatigheidsaspect

• Kwalificatiefunctie leerrendement (groei in
  kennis afgezet tegen instructiekosten)
• Selectiefunctie intern rendement (aantal
  diplomas afgezet tegen verblijfsduur van
  gediplomeerden én ongediplomeerden)
• Allocatiefunctie extern rendement (opbrengsten
  en kosten voor individu of samenleving)

7
Werkwijze

• Data ontleend aan HBO- en WO-Monitor landelijk
  onderzoek onder afgestudeerden 1½ jaar na
  afstuderen
• Per component zijn indicatoren ontwikkeld
• Voor elke indicator is een rapportcijfer berekend
• Dit rapportcijfer is gebaseerd op het percentage
  afgestudeerden dat boven een bepaalde norm zit
• Het totaal oordeel per component is het
  gemiddelde van de onderliggende indicatoren

8
Indicatoren kwalificatiefunctie

• afgestudeerden dat over de competenties
  beschikt die vereist zijn in het kerndomein 23
  verschillende aspecten m.b.t.
• Professionele expertise
• Flexibiliteit
• Innovatie en kennismanagement
• Mobilisering van menselijk kapitaal
• Internationale oriëntatie
• Oordeel of opleiding voldoende basis biedt om te
  starten op de arbeidsmarkt
• Oordeel of opleiding voldoende basis biedt voor
  verdere ontwikkeling van competenties
• Oordeel over breedte van opleiding
• Oordeel over diepgang van opleiding

9
Voorbeeld WO-economie
Instelling Landelijk Landelijk Landelijk
gem min max
Opleiding goede basis om te starten op de arbeidsmarkt 73 66 61 73
Opleiding goede basis voor verder ontwikkelen van competenties 86 85 78 89
Tevreden over breedte opleiding 65 62 53 74
Voldoende diepgang opleiding 71 69 52 82
Buitenlandervaring tijdens opleiding 69 38 23 69
Voldoende competentieniveau 85 83 77 95
10
Indicatoren selectiefunctie

• Twee aspecten worden de juiste mensen
  geselecteerd en wordt voldoende streng
  geselecteerd?
• Moeilijk om goede indicatoren te vinden
• Verschilscores doctoraal cijfers WO en
  eindexamencijfers VO
• Oordeel over zwaarte van de opleiding
• Opleiding opnieuw kiezen

11
Voorbeeld WO-economie
Instelling Landelijk Landelijk Landelijk
gem min max
Cijfertoekenning voldoende streng 77 77 68 84
Opleiding voldoende zwaar 66 74 66 80
Opleiding opnieuw kiezen 79 77 74 80
12
Allocatiefunctie

• Oordeel over beroepsvoorlichting
• Functieniveau sluit aan bij opleidingsniveau
• Oordeel over aansluiting opleiding-beroep
• Oordeel over benutting capaciteiten in huidige
  functie
• Tevredenheid met huidige baan

13
Voorbeeld WO-economie
Instelling Landelijk Landelijk Landelijk
gem min max
Tevreden over beroepsvoorlichting 24 27 20 40
Functieniveau past bij opleidingsniveau 68 50 33 69
Goede aansluiting opleiding-werk 78 77 75 82
Voldoende benutting van capaciteiten 67 62 53 70
Tevreden met functie 69 65 55 72
14
Indicatoren extern rendement

• Werkloosheidspercentage na 1½ jaar
• Bruto uurloon
• Oordeel over carrièremogelijkheden huidige functie

15
Voorbeeld WO-economie
Instelling Landelijk Landelijk Landelijk
gem min max
Werkloosheid 3.9 3.7 2.9 5.6
Mediaan bruto uurloon 14,42 13,56 13,27 14,58
Goede carrièremogelijkheden 68 67 58 73
16
Rapportcijfers

• Kwalificatiefunctie 7.9
• landelijk gem. 7.3, min. 7.0, max. 7.9
• Selectiefunctie 7.4
• landelijk gem. 7.6, min. 7.2, max. 8.1
• Allocatiefunctie 6.1
• landelijk gem. 5.6, min. 5.0, max. 6.2
• Extern rendement 7.5
• landelijk gem. 7.4, min. 7.2, max. 7.6

17
Overwegingen bij de interpretatie

• Niet elk aspect is even belangrijk prioriteit
  bij kwalificatiefunctie, maar ook afhankelijk van
  eigen doelstellingen
• Niet alles is toe te rekenen aan de opleiding,
  maar
• sommige indicatoren hebben wel een belangrijke
  signaalwaarde
• Indicatoren in onderlinge samenhang bestuderen

18
Hoe verder?

• Dit is een aanzet!
• Inhoudelijke onderbouwing verder bespreken met
  NVAO, NQA, QANU, DAIR etc.
• Methodologische onderbouwing bepaling norm,
  verschillen tussen opleidingen, etc.
• Testen proefopzet dit jaar