Implementatie en integratie van QMPerception binnen de Toledo-omgeving

1
Implementatie en integratie van QMPerception
binnen de Toledo-omgeving
2
Overzicht

• QMPerception binnen Toledo
• Evolutie automatisering en koppeling Toledo-QMP
• Huidig opzet van toetsomgeving

3
QMPerception binnen Toledo
4
Toledo aan de K.U.Leuven

• Toetsen en leren doeltreffend ondersteunen
• Blackboard Learning System
• Questionmark Perception (client based)

2001
5
QMP aan K.U. Leuven

• Formatieve toetsen / oefeningen
• SES (semesterexamensysteem)
• Begeleide Zelfstudie
• Summatieve toetsen / examens
• Draaiboek
• Informatiesessies
• Technische en didactische consulting
• Enquêtes

6
Ondersteuning

• Handleiding (didactisch / technisch)
• Infosessies en workshops
• Workshop QMPerception basiscursus
• Workshop QMPerception voor gevorderden
• Infosessie Online examens
• Toledo-Community (of practice)
• Helpdesk

7
Toledo-koppelingen
Admin. data
instelling A
K.U.Loket
BLACKBOARD
instelling B
BibliotheekOmgeving
instelling C
Wiki, weblog
instelling D
U-Solv-IT, Idiomatic,
instelling E
instelling F
8
Voorbeeld koppeling QMP
9
QMP versus Blackboard

• Vraagtypes
• Vragenblokken
• Remediëring, tweede kans
• Adaptief en cumulatief toetsen
• Templates
• Layout
• Gevorderde mogelijkheden
• Rapportering

10
1. Java-vraagtype om klikgedrag te volgen
11
Vragenblokken
Topic 1 (50)
Vragenblok1 (Alles)
Vragenblok2 (5 vragen adrandom pool 2)
Topic 2 (50)
12
Adaptief toetsen
Pool 1 (50)
Blok 1 (5 vragen ad random)
- 50
50
Pool 2 (50)
Blok 2 (5 vragen ad random)
13
Adaptief toetsen
juist
Vraag 3.1
Vraag 3.2
Vraag 3.3
Vraag 3.4
juist
fout
juist
juist
fout
juist
fout
Vraag 3.1bis
Vraag 3.2bis
fout
Vraag 3.2tris
14
Adaptief toetsen
start opgave
stappen
zelf
fout tip tweede poging
stap A FB stap B stap C stap D stap k
juist
juist
fout
FB over efficiënte oplossingsstrategie
einde oefening
15
(No Transcript)
16
(No Transcript)
17
KULeuven template
18
Template-definities

• SHOW_TITLE0
• HEADERlttablegtlttrgt
• SEPARATOR
• SUBMIT_TEXTInvoeren
• WIDTH10
• FEEDBACKCOLOR006600
• SHOW_BLOCK_SCORE0
• TIME_LIMIT_WARNING5

19
Template-definities
20
Templates en vraagtypes
21
Sessie-variabelen

• ltfont face"Verdana, Arial, Helvetica, sans
  serif" size4 colormaroongtltbgtU bent ingelogd als
  gebruiker SESSION.USER op SESSION.DATE.
• Het is nu SESSION.TIME en u hebt 2 uur om deze
  toets af te leggen.
• De toets bevat BLOCK.NUMQUESTIONS
  vragen.lt/bgtlt/fontgt

22
Soorten rapporten
sessie vragen
student (antwoordanalyse) score list coaching survey
docent (toetsanalyse) assessment overview question statistics item analysis
export for excel / ASCII
23
Evolutie automatisering en koppeling Toledo-QMP
24
QMP aan K.U.Leuven

• Academiejaar 2004-2005
• Meer dan 800 assessments
• Meer dan 24.000 vragen
• Academiejaar 2006-2007
• Meer dan 1.600 assessments (370 in laatste jaar)
• Meer dan 54.000 vragen
• Meer dan 130.000 afgelegde assessments
• Bijna 30.000 verschillende gebruikers (10.000 in
  laatste jaar)

25
QMP aan K.U.Leuven

• Campuslicentie QMP
• Alle geïnteresseerde docenten en personeelsleden
• Evolutie
• 2001-2002 QMP2 via webformulier
• 2002-2004 QMP2 via PUC
• 2004-2007 QMP3 via PUC
• 2007- QMP4 via PUC (shared)

26
Publiceren via webformulier

• Toetsen op eigen pc maken
• Question- en assessmentdatabank opsturen via
  webformulier
• Toledoteam zetdatabanken manueel over

27
Publiceren via PUC

• Perception Upload Client
• Testen van assessments
• Publiceren van assessments
• Updaten van bestaande vragenpools en toetsen
• Template-opties toevoegen
• Naamconventies
• Toegangsrechten tot rapporttool juistzetten

28
QMP2/3 opstelling
29
Perception Upload Client
30
Creëren PUA-bestand
Client
Upload client

• Kopie question db
• Kopie assessment db
• Verwerking QML-data
• Kopie afbeeldingen, multi-media materiaal,
• Toevoegen van prefixen

31
PUA-file naar Upload server
Perception Server
Upload server
Upload client
32
Uitpakken op preview server
Preview Server
Upload server
Database
questions
assessments
security
reports
graphics
templates
33
Uitpakken op preview server
Preview Server
Upload server
Database
.question
.assessment
questions

• graphics copy
• u0038255_F0301A_hebrew_fragment.gif
• u0038255_F0301A_diagram_1.gif
• u0038255_F0301A_diagram_2.gif
• u0038255_F0301A_diagram_3.gif
• multimedia copy
• u0038255_F0301A_hebrew_fragment.wav

assessments
security
reports
graphics
templates
34
Uitpakken op preview server
Preview Server
Upload server
Database
.question
.assessment
questions

• graphics copy
• u0038255_F0301A_hebrew_fragment.gif
• u0038255_F0301A_diagram_1.gif
• u0038255_F0301A_diagram_2.gif
• u0038255_F0301A_diagram_3.gif
• multimedia copy
• u0038255_F0301A_hebrew_fragment.wav

assessments
security
reports
graphics
templates
35
Link naar preview server
36
E-mail naar verstuurder
37
Publiceren
38
Publiceren
39
Perception Upload Server
40
Uitpakken op produktie server
Produktie server
Upload server
Database
.question
.assessment
questions

• graphics copy
• u0038255_F0301A_hebrew_fragment.gif
• u0038255_F0301A_diagram_1.gif
• u0038255_F0301A_diagram_2.gif
• u0038255_F0301A_diagram_3.gif
• multimedia copy
• u0038255_F0301A_hebrew_fragment.wav

assessments
security
reports
graphics
templates
41
Groepen creëren
1 groep entry per cursus
42
Schedules creëren
1 schedule per assessment
43
Schedules
44
Admin creëren
1 cursusspecifieke admin met leesrechten op
antwoord-gegevens van toetsen, verbonden aan die
cursus
45
E-mail naar verstuurder
46
Link naar assessment

• Javascript link

ltSCRIPTgtlt!-- function nieuwwindowad(h)
testwinwindow.open(h,'nieuwalgdid','toolbar0,l
ocation0,directories0,status0,menubar0,scrollb
ars1,resizable1,width800,height600')
if(navigator.appName'Net
scape') testwin.focus()
//--gtlt/SCRIPTgt ltA HREF"javascriptnie
uwwindowad('http//qm-100.cc.kuleuven.ac.be/qm/qml
dap.dll?GROUPM751?assessment4729568104222633')"gt
Click here to launch your assessmentlt/Agt
47
Links naar assessment

• QMWISe link

ltA HREF"/webapps/tol-qmwise-bb_bb60/login.do?id3
528657753976495groupF000A" target"QM"gttoetslt/Agt
48
Huidig opzet van de toetsomgeving
49
Overgang naar QMP4

• Voordelen QMP4
• 1 programma (versus question en assessment
  manager)
• Extra vraagtypes
• Extra ondersteuning enquêtes
• Shared server (samenwerken)
• Rechtenbeheer (geen naamconventies meer nodig)
• Unicode (vreemde karakters)

50
Overgang naar QMP4

• Fase 1 (voorjaar 2007)
• Nieuwe gebruikers starten met QMP4 op nieuwe
  shared servers
• Fase 2 (voorjaar 2008)
• Bestaande gebruikers kunnen vragendatabanken en
  toetsen overzetten naar nieuwe shared servers
• Fase 3 (zomer 2008)
• Bestaande QMP3 server wordt overgezet naar QMP4
  en bevroren

51
QMP4 opstelling
Produktie Server
Docent
SSO
PerceptionReportManager
Login
Data
Link
Toledo
Registrerenvia PUC
Login
PUC
Open
Student
PreviewServer
SharedRepositoryServer
PerceptionAuthoringManager
Login
PUC
52
Servers QMP (2007)
Assessment Assessment Assessment Survey Survey Survey High-stake exam High-stake exam High-stake exam
SharedQMP4 PreviewQMP4 Productie QMP4 Shared QMP4 Preview QMP4 Productie QMP4 Shared Preview Production
Test
Develop
Deploy

53
Publiceren via PUC

• Perception Upload Client
• Registreren van gebruiker
• Aanmaken van account en workspace op shared
  server
• Testen van assessments
• Publiceren van assessments
• Updaten van bestaande vragenpools en toetsen
• Toegangsrechten tot rapporttool juistzetten

54
Registreren via PUC

• Link naar webpagina (Shibboleth)
• Genereert registratiecode (uniek per gebruiker)
• In PUC ingeven zodat server weet wie men is
• Maakt account, roottopic en rootfolder aan op
  shared repositories en zet rechten juist
• Maakt accounts aan op Enterprise Manager op
  produktieservers

55
Registreren via PUC
56
Registreer
57
Inloggen

• Vragen?

58
Registratie Pagina
59
Registratie code
60
Registratie succesvol

61
Toetsen info
62
Doorsturen naar testserver

• Startpunt lege databank
• PUCS kopieert hierin alle relevante data (vragen,
  toetsen, resources, template-referentie)
• PUCS maakt zip archiveert met referentienr
• PUCS pakt zip uit op testserver

63
Opsturen preview server
64
Opsturen previewserver
65
Uittesten preview server
66
Publicatie aanvraag
67
Publicatie aanvraag
68
Publicatie aanvraag
69
Publicatie aanvraag
70
Doorsturen naar produktie

• PUCS pakt laatste zip uit op produktieserver
• Maakt schedules aan
• Maakt QMWise link aan
• Maakt account aan in Enterprise Manager voor
  groep en rechten van toets worden aan groep en
  auteur gehangen

71
Problemen algemeen

• Editor
• plakken uit Word
• Toetstype
• Quiz
• Test
• Exam
• Survey

72
Problemen rechtenbeheer

• Rechtenbeheer verder implementeren voor
  samenwerken
• Problemen met rechtenbeheer op templates (1
  folder, root access nodig op volledige folder)

73
Problemen templates

• Problemen met rechtenbeheer op templates (1
  folder, root access nodig op volledige folder)
• Security issue toegang tot alle vragen via
  uittesten van template
• Include werkt niet meer zoals in QMP3 (preview in
  authoring manager werkt niet met includes)
• Templates gegenereerd met script

74
Problemen surveys

• Knowledge matrix
• Niet optimale layout voor enquêtevragen
• Probleem Excel-output
• Survey matrix vraag
• Goede layout voor enquêtevragen
• Probleem Excel-output
• Workaround
• MC-vragen met speciale template

75
Verdere plannen

• Overzetten huidige QMP3 omgeving en gebruikers
  naar versie 4
• Synchronisatie gebruikers
• Koppeling BB gradebook

76
Vragen?