Bab 10

1
Bab 10

• Temubual, Soalselidik dan Pandangan Pakar

2
Objektif

• Peranan temubual dan soalselidik dalam penilaian
• Rekabentuk asas soalselidik
• Bagaimana melakukan temubual, penilaian heuristik
  dan cognitive walkthrough
• Bagaimana mengumpul, menganalisa dan
  mempersembahkan data
• Kelebihan dan kelemahan teknik-teknik ini

3
Temubual

• Tidak berstruktur tidak berpandukan kepada
  skrip. Fleksibel dan meluas, tetapi tidak boleh
  direplika
• Berstruktur berdasarkan kepada skrip tertentu,
  mirip soalselidik. Boleh direplika tetapi tidka
  feksibel dan meluas
• Separa-berstruktur (semi-structured)
  berpandukan kepada skrip tetapi idea/isu menarik
  boleh dibincang lebih dalam.

4
Asas Temubual

• Rangkakerja DECIDE
• Matlamat dan persoalan mempengaruhi temubual
• Dua jenis soalan
• soalan tertutup format jawapan yang telah
  ditentukan, spt. ya ata tidak
• soalan terbuka tidak mepunyai format tertentu
• Soalan tertutp adalah lebih cepat dan mudah
  untuk dianalisa

5
Perkara yang perlu dielakkan semasa menyediakan
soalan temubual

• Soalan yang panjang
• Ayat majmuk pecahkan kepada dua
• Bahasa dan jargon yang mungkin tidak difahami
  oleh responden
• Soalan yang mempunyai andaian tertentu (leading
  questions) , cth kenapa anda suka.?
• Bias yang tidak disedari, cthnya dari segi jantina

6
Komponen Temubual

• Pengenalan memperkenalkan diri, menerangkan
  matlamat temubual, yakinkan responden tentang isu
  etika, kebenaran untuk merekod, borang informed
  consent form
• Warm up dimulakan dengan soalan yang mudah dan
  menyenangkan
• Utama - ajukan soalan menurut susunan logikal
• Cool-off period selitkan beberapa soalan mudah
  untuk mengurangkan tekanan
• Penutup terima kasih kepada responden

7
Proses Temubual

• Gunakan rangkakerja DECIDE sebagai panduan
• Berpakaian mirip kepada peserta
• Semak peralatan rakaman lebih awal
• Wujudkan sistem kod nama tertentu untuk
  merahsiakan nama peserta
• Be pleasant
• Minta peserta mengisi borang perakuan
  pemberitahuan (informed consent form)

8
Probes dan Prompts

• Probes (siasatan) digunakan untuk mendapatkan
  maklumat lanjut, cth ada apa-apa yang anda
  perlu tambah berkenaan hal ini?
• Prompts (galakan) digunakan untuk membantu
  peserta meneruskan ayat atau penerangan tertentu,
  cth ya, teruskan, atau membantu mengingat nama
• Perlu pastikan bahawa kedua-dua di atas tidak
  menyebabkan bias

9
Temubual Berkumpulan

• Juga dikenali sebagai kumpulan fokus
• Biasanya melibatkan 3-10 peserta
• Mengumpul maklumat dan pendapat yang pelbagai dan
  meluas
• Perlu ada pengurusan supaya
• Setiap peserta memberi sumbangan
• Perbincangan tidak didominasi oleh orang tertentu
• Topik agenda dibincangkan

10
Menganalisa Data Temubual

• Bergantung kepada jenis temubual
• Temubual berstruktur boleh dianalisa sepertimana
  soalselidik
• Temubual tidak berstruktur menghasilkan data
  sepertimana yang dihasilkan oleh teknik
  pemerhatian participant observation
• Data dari temuduga tidak berstruktur perlu
  dianalisa dengan segera tuntuk mengenalpasti
  topik dan tema

11
Soalselidik

• Soalan boleh terbuka atau tertutup
• Soalan tertutup paling mudah dianalisa, dan
  boleh dilakukan secara berkomputer
• Boleh diberikan kepada suatu populasi yang besar
• Media penyebaran kertas, email dan laman web
• Kelebihan soalselidik elektronik data masuk
  terus ke dalam pangkalan data, dan mudah
  dianalisa
• Masalah soalselidik elektronik - persampelan
  iaitu saiz populasi tidak diketahui

12
Gaya Soalselidik

• Pelbagai mengikut matlamat ? gunakan rangkakerja
  DECIDE
• Format soalselidik termasuk
• Pilihan ya , tidak
• Pilihan lebih dari satu
• Skala Likert
• Skala semantik
• Soalan terbuka
• Skala Likert mempunyai julat titik tertentu
• Biasanya 3, 5, dan 7

13
Membangun Soalselidik

• Menyatakan tujuan soalselidik dengan jelas dan
  menjamin anonymity responden
• Merancang soalan jika soalselidik berasaskan
  web, bangunkan secara off-line dahulu
• Tentukan samada pernyataan adalah dalam bentuk
  posotif, negatif, atau gabungan
• Soalan diuji terlebih dahulu (pilot test)
• Tentukan bagaimana data akan dianalisa dan
  dapatkan nasihat ahli statistik jika perlu

14
Cara Mendapatkan Respon yang Baik

• Pastikan tujuan kajian jelas
• Jamin anonymity
• Pastikan soalan direkabentuk dengan baik dan
  teliti
• Sediakan versi pendek untuk mereka yang tiada
  masa untuk mengisi versi panjang
• Buat follow-up dengan email, telefon, surat
• Sediakan insentif
• 40 renspon adalah agak tinggi, dan 20 biasanya
  boleh diterima

15
Kebaikan Soalselidik Online

• Respon selalunya diterima dengan cepat
• Tiada kos penghantaran dan fotokopi
• Data boleh dikumpulkan ke dalam pangkalan data
  secara terus
• Masa yang diperlukan untuk analisa lebih singkat
• Kesilapan pada soalselidik boleh dibetlkan dengan
  cepat

16
Masalah Soalselidik Online

• Persampelan adalah sukar jika saiz populasi tidak
  diketahui
• Sukar untuk mengesan atau mengelak dari seorang
  responden mengisi lebih dari sekali
• Terdapat kes di mana responden atau orang lain
  mengubah soalan dalam soalselidik melalui email

17
Analisis dan Persembahan Data

• Persembahkan data dengan jelas jadual boleh
  membantu
• Gunakan statistik mudah spt min, median, mod,
  sisihan piawai
• Peratusan juga baik, tetapi memerlukan saiz
  populasi
• Carta bar boleh menunjukkan data berkategori
  (nominal)
• Analisis statistik yang lebih terperinci boleh
  dilakukan jika perlu

18
Contoh-contoh Soalselidik

• SUMI (Software Usability Measurement Inventory)
• MUMMS (Measuring the Usability of Multi-media
  System)
• www.ucc.ie/hfrg/questionnaires
• QUIS (Questionnaire for User Interface
  Satisfaction)

19
Pandangan Pakar

• Pakar menggunakan pengetahuan mereka tentang
  pengguna dan teknologi untuk review kebolehgunaan
  perisian
• Kritik atau komen boleh dalam bentuk laporan
  formal dan tidak formal
• Penilaian heuristik suatu review yang
  berpandukan kepada suatu set heuristik
• Walkthrough melibatkan pengalaman langkah-demi
  langkah menggunakan senario terancang dan lakaran
  skrin

20
Penilaian Heuristik

• Dibangunkan oleh Jacob Nielsen pad awal 1990-an
• Berdasarkan kepada heuristik yang diperolehi dari
  analisa empirikal ke atas 249 masalah
  kebolehgunaan
• Telahpun dikemaskini untuk teknologi sekarang,
  spt HOMERUN utk web
• Garispanduan rekabentuk menjadi asasuntuk
  membangunkan heuristik

21
Heuristik Nielsen

• Keterlihatan (visibility) status sistem
• Padanan di antara sistem dengan dunia sebenar
• Kawalan dan kebebasan pengguna
• Ketekalan (consistency) dan piawaian
• Bantuan kepada penggun auntuk mengecam, diagnos,
  dan perbetulkan ralat
• Mengelak ralat
• Pengecaman (recognition) berbanding mengingat
  semula (recall)
• Kebolehlenturan (flexibility) dan keberkesanan
  (efficiency) penggunaan sistem
• Nilai estetik dan rekabentuk minimalist
• Bantuan dan dokumentasi

22
Penilaian Potongan (discount)

• Penilaian heuristik juga dikenali sebagai
  penilaian potongan (discount evaluation) apabila
  hanya 5 penilai yang digunakan
• Kajian empirikal membuktikan bahawa secara kasar
  5 penilai adalah cukup untuk mengesan 75-80
  masalah kebolehgunaan

23
Tiga Fasa Penilaian Heuristik

• Sesi briefing untuk memberitahu pakar/penilai
  tentang apa yang perlu dilakukan
• Fasa penilaian yang memakan masa 1-2 jam yang
  mana
• Setiap pakar/penilai berkerja secara berasingan
• Pertama kali, gunakan sistem secara keseluruhan
  untuk membiasakan diri dengan sistem
• Kali kedua, tumpukan kepada ciri tertentu dalam
  sistem
• Debriefing kesemua pakar/penilai berbincang
  untuk kenalpasti masalah utama

24
Kelebihan dan Masalah

• Beberapa isu etika dan praktikal perlu
  dipertimbangkan
• Mungkin sukar dan agak mahal untuk mendapatkan
  pakar
• Pakar yang baik mempunyai pengetahuan tentang
  domain aplikasi dan pengguna
• Masalah
• Masalah penting mungkin akan tertinggal
• Banyak masalah remeh yang akan dicamkan

25
Cognitive Walkthrough

• Memfokus kepada mudah untuk dipelajari
• Perekabentuk akan menyentuh aspek dan penggunaan
  tertentu menggunakan senario
• Satu atau lebih pakar akan berjalan melalui
  rekabentuk prototaip (senario)
• Pakar diberitahu mengenai andaian tentang
  populasi pengguna, konteks penggunaan, dan
  perincian tugas
• Pakar dibantu oleh 3 soalan

26
Tiga Soalan

• Will the correct action be sufficiently evident
  to the user?
• Adakah tindakan yang betul (sepatutnya dilakukan)
  akan kelihatan jelas kepada pengguna?
• Will the user notice that the correct action is
  available?
• Adakah pengguna sedar akan kewujudan tindakan
  tersebut?
• Will the user associate and interpret the
  response from the action correctly?
• Bolehkan pengguna memahami dengan betul akan
  hubungan di antara respon dari sistem dengan
  tindakan yang telah diambilnya?