Usability-Evaluation

1
(No Transcript)
2
Beispiel für Testszenario

• Allein in einem kleinen Raum versucht ein Mann,
  auf dem am Computerbildschirm simulierten
  Prototyp eines Handys seineTelefon-Nummer mit
  Name und Adresse abzuspeichern. Durch einen
  Einwegspiegel wird er dabei von Mitgliedern des
  Entwicklungsteams, Usability Ingenieuren und
  einer Videokamera beobachtet.

3
Usability-Tests

• Was ist ein Usability-Test?
• Einem/er Nutzer/in wird das zu testende Produkt
  (Website, Prototyp, Softwarepaket,) gezeigt, und
  und er / sie wird gebeten
• Zu beschreiben, was er/sie vor sich hat
• Zweck
• Nutzen
• Was kann man damit tun?
• Struktur
• Usw.
• Verschiedene Schlüsselaufgaben auszuüben

(Vgl. Steve Krug Dont make me thiink!
Indianapolis Macmillan, 2000, S. 138-154) Jacob
Nielsen Usability Engineering. San Diego, San
Francisco u. a. Academic Press, 1993, S. 165-207
4

• Was beobachten Sie?
• Verstehen die Nutzer, worum es geht?
• Zweck
• Anfangspunkte?
• Service
• Finden die Nutzer sich zurecht?
• Navigation
• Verzögerungen
• Umwege
• Durchwurschteln
• Verstehen die User die Benennungen (Labels)?
• Verzögerungen
• Versuch und Irrtum
• Aha! Erlebnisse (Das versteht man nicht. Wieso
  haben wir daran nicht gedacht?)
• Schocks! (Wieso begreifen die Nutzer das nicht?)
• Inspiration Ideen für Verbesserungen
• da hätte ich jetzt einen Einkaufswagen erwartet
  und kein Päcken, das sieht ja aus wie ein
  Geschenk)
• Begeisterung was gefällt den Nutzern besonder?

5
Auswertung der Testergebnisse

• qualitative Problembeschreibungen
• Zurück-Knopf nicht gefunden
• Kann interne Suche nicht von Internet-Recherche
  unterscheiden
• quantitative Attributsausprägungen
• Wie lange?
• Wie oft?
• subjektive Einschätzungen
• angenehme Farben
• Klares Layout
• Diese Daten zeigen
• ob die Usability-Ziele erfüllt worden sind
• wo die Probleme bei der Bedienung liegen
• wie schwerwiegend diese Probleme sind (Abbruch
  der Aktion oder Verzögerung?)

6
Was ist messbar?

• Zeit für Durchführung einer Aufgabe
• Anzahl der in der vorgegebenen Zeit erfüllten
  Aufgaben
• Verhältnis erfolgreicher Aktionen zu Irrtümern
• Anzahl von Irrtümern
• Anzahl der Befehle, Features, die nicht verwendet
  werden
• Wie häufig wird die Hilfe hinzu gezogen?
• Anteil der positiven Nutzerkommentare im
  Vergleich zu negativen Nutzerkommentaren
• Wie häufig äussern sich die Nutzer wirklich
  frustriert?
• Anzahl unlösbarer Probleme
• Anteil nicht interaktiver Zeit (Antwortzeiten /
  Bedenkzeit des Nutzers)

7
Ablaufschema am Beispiel Thinking Aloud Test

1. Planung
2. Vorbereitung
3. Pilot-Test
4. Durchführung
5. Analyse

Vgl. Sabine Wein Einsatz von Usability-Methoden
im Produktionsprozess. Hamburg Diplomarbeit FH
Hamburg, 2001, S. 38 ff.
8
(No Transcript)
9
1. Planung

• Interessen und Ziele festsetzen
• Was wollen wir aus dem Test lernen?
• Wie sollen die Werte gemessen werden?
• Team aufstellen
• Testleiter
• Beobachter / Protokollant
• Beteiligte Entwickler
• Messwerte festlegen (hängt von Zielsetzung ab)
• Zeitmessung
• Zufriedenheitsmessung
• Zielgruppe definieren
• in Abhängigkeit von vorher definierten Rollen
• Erfahrungsgrad
• Aufgaben definieren
• Features, die alle Nutzer verwenden
• Teile der Oberfläche, an denen Entwicklungsteam
  besonderes Interesse hat
• Bestimmung der Testumgebung
• In Abhängigkeit von Budget und Zielsetzung

10
Empfohlene Zahl Testpersonen

• Aufwändige repräsentative Tests mit über 100
  Testpersonen (repräsentative Quantifizierung
  möglich)
• Experten haben die Erfahrung gemacht, dass Tests
  mit 5 bis 7 unterschiedlichen Nutzern schon bis
  zu 80 der vorhandenen Usability-Probleme
  aufdecken

Grafik Nielsen Why you only Need to test with 5
Users, 2000 http//www.useit.com/alertbox/20000319
.html
11
2. Vorbereitungen

• Akquise der Teilnehmer
• Anzeigen od. Marktforschungsinstitute
• Freunde und Bekannte
• Aber nicht interne Mitarbeiter (sind zu
  voreingenommen)
• Materialien vorbereiten
• Vorab-Fragebögen Usercharakteristika, die helfen
  die Beobachtungen zu interpretieren
• Einverständniserklärung
• Testaufgaben
• Abschließender Fragebogen (zu den Aufgaben und
  zum Test)
• Protokollbögen
• Pilot-Test durchführen
• Methode erproben
• Geräte testen
• Verständlichkeit Aufgaben- und Fragebögen
• Metriken testen

12
3. Durchführung

• Begrüßen
• Checkliste
• Methode erklären
• Einverständniserklärung unterschreiben lassen
• Beobachten, Protokollieren, Messen
• Protokollformular vorbereiten
• Kommentare
• Mousebewegungen
• Fragen
• Quantitative Daten festhalten
• Gefühlsäußerungen festhalten
• Debriefing
• Ergänzungen
• Verabschiedung
• Dank, Geschenk

13
4. Analyse und Interpretation

• Ergebnisse
• Welche Ergebnisse
• Zuordnung der Probleme zu Nutzertypen
• Welche Probleme tauchen mehrmals auf?
• Gewichtung der Probleme
• Ermittlung der Ursachen
• Empfehlungen erarbeiten
• Bericht erstellen

14
Vergleich heuristische Evaluation und
Usability-Test (thinking aloud)
Problem Heuristi-sche Evaluation Usabi-lity-Test
Deckt viele mittlere bis kleine Probleme auf Abgleich mit Standards Gleichmäßige Beurteilung der ganzen Seite Deckt wenige schwerwiegende Usability-Mängel auf Große Überzeugungskraft gegenüber Designern und Auftraggebern X X X X X
15
Evaluationsmethoden

• Formative Methoden
• Anwendung während des Entwicklungsprozesses zur
  kontinuierlichen Verbesserung des Produktes
• Summative Methoden
• Zur abschließenden Bewertung des fertig
  gestellten Produktes. Auch geeignet zum Vergleich
  verschiedener Produkte

16
Wann welche Methode?
Methode Einsatz Art der Probleme Anzahl Probleme Personal Art Vorteil Nachteil
Focus-Groups Ideensammlung Verständnis Anforderungen Nutzer Unterschiedlich Moderator Teammitglieder Kunden Diskussion Beteiligung Nutzer Termine wenig Probleme
Fragebögen Bedarfserhebung Quantifizierung Nutzerwünsche Zuordnung spez. Nutzereigenschaften Relativ wenig Ersteller und Auswerter Fragebögen möglichst viele Nutzer Befragung Quantitativ od. qualitativ Quantifizierbar schnell wenig Aufwand Genannten Probleme sind nicht die echten Probleme angemessener Rücklauf notwendig
Interviews Immer Nutzerwünsche Domainkenntnis erwerben Hängt vom Interviewten ab Interviewer Interviewter Befragung Kontakt zum Nutzer Nicht quantifizierbar


17
Wann welche Methode?
Methode Einsatz Art der Probleme Anzahl Probleme Personal und Equippment Art Vorteil Nachteil
Heuristic evaluation gesamter Entwicklungsprozes Abweichungen von anerkannten Prinzipien Viele (bis 90) Evaluatoren mit Usability- und Domainkenntnissen In-spek-tion Viele Probleme Findet keine neuen Bedürfnisse
Cognitive Walkthrough Ab Prototyp Aller Art Bis zu 40 Experten. Kenntnis Über Probleme muss vorliegen Dito Eignet sich zum Testen von Abläufen hilft Ursachen für Fehler finden Userhandlung nur simuliert
Thinking-Aloud Ab Prototyp (muss aber schon Funktionalitäten aufweisen) Schwere Probleme Bis zu 50 5-8 repräsentative Nutzer Moderator Protokollant Aufzeichnungssoftware Test Effizient Deckt Schlüsselprobleme auf Kann unnatürlich für Nutzer sein
Instructive interaction Ab Prototyp Dito Test Natürlichere Situation als thinking-aloud schwerer zu beobachten Fehler durch Kooperation der Tester entschärft