Teorija odgovora na zadatke

1
(No Transcript)
2
Sveucilište u Zagrebu Filozofski fakultet
Odsjek za psihologiju

• Teorija odgovora na zadatke
• (Item Response Theory IRT)
• Konceptualizacija i mogucnosti primjene

3
Teorija testova - definicija
Skup modela, pretpostavki i dedukcija koji se
odnose na probleme konstrukcije i psihometrijske
evaluacije testova, te interpretaciju testovnih
rezultata. Skupom pravila nastoji se
formalizirati pridruživanje kvantitativnih oznaka
ispitanicima, odnosno objektima mjerenja.
Klasicna teorija testova
Moderna teorija testova
4
Teorija testova - problemi

• metode za izbor testovnih cestica
• postupci odredivanja relevantnih
  psihometrijskih osobina
• cestica kao što su težina, te
  diskriminativna valjanost
• pravila za komponiranje cestica u cjelovite
  mjerne postupke
• koji ce imati neke poželjne karakteristike
• nacela transformacije i vrednovanja kompozitnih
  rezultata
• odredivanje pogreške mjerenja ukupnog
  rezultata
• osjetljivost mjerenja

5
Teorija testova - koncepti

• Lord i Novick (1968) mjerenje definiraju kao
  proceduru za pridavanje brojeva specificnim
  osobinama eksperimentalnih jedinica tako da opišu
  i sacuvaju odnose u bihevioralnoj domeni.

?Skaliranje se može definirati kao pridavanje
numerickih vrijednosti objektima s ciljem
reprezentiranja kolicine mjerenog atributa na
nekoj rezultantnoj skali.
6
Teorija testova - koncepti

• Skoro svi modeli skaliranja ispitanika mogu se
  opisati razlicitim tipovima krivulja koje
  povezuju mjereni atribut i vjerojatnost
  (ne)indikativnog odgovora. Funkcije ovog oblika
  nazivaju se linije traga zadataka ili
  karakteristicne krivulje zadataka.
• Moguci odgovori su alfa (tocno, indikativno) ili
  beta (netocno, neindikativno). Linija traga
  opisuje ocekivanu vjerojatnost odgovora alfa za
  ispitanike na razlicitim razinama atributa ili
  klase

7

• Nunnally i Bernstein (1994) navode cetiri moguce
  linije traga za dihotomno bodovane zadatke
• a) stupnjevita linija
• b) krivulja u obliku slova S (sigmoidna)
• c) krivulja nepravilnog monotonog oblika
• d) krivulja nemonotonog oblika. Moguce je
  domisliti i drugacije modele u skladu s
  pretpostavljenim matematickim funkcijama koje ih
  definiraju.
• Apscisa se, kod ovakvih prikaza, odnosi na
  mjereni konstrukt, definiran u terminima njegove
  velicine (izraženosti) i uobicajeno se oznacava
  sa ?. Razliciti modeli dovode do razlicitih
  linija traga.

8

• - deterministicki i probabilisticki modeli
• - monotoni i nemonotoni

9

• Za razliku od fizikalnih mjerenja, gdje je
  dovoljan samo jedan indikator atributa, koji uz
  to dopušta i ponovljena mjerenja, u psihologiji,
  osobito teoriji testova, dominiraju kompozitna
  mjerenja, kod kojih procjena atributa predstavlja
  neku funkciju pojedinih cestica ili zadataka,
  koji se mogu koristiti u širem smislu za svaki
  podražaj u mjerenju.

10

• Neki od razloga za korištenjem kompozitnih mjera
  jesu
• a) Pojedinacni zadaci obicno nisko koreliraju s
  mjerenim atributom.
• b) Pojedinacni zadaci imaju tendenciju da
  koreliraju i s drugim atributima, pored mjerenog.
• c) Svaki zadatak sadrži dio varijance
  specificiteta u smislu da ne korelira s niti
  jednim opcim atributom ili faktorom.
• d) Pojedini zadaci mogu sadržavati znatnu
  kolicinu varijance pogreške.
• e) Jedan zadatak omogucuje klasifikaciju
  ispitanika u mali broj kategorija (cesto samo u
  dvije).

11
Teorija testova - razvoj

• 1895. Galtonov student Karl Pearson objavljuje
  formulu za koeficijent korelacije

• 1904. E.L. Thorndike objavljuje prvu knjigu o
  teoriji testova An Introduction to the Theory of
  Mental and Social Measurements.

• Formula za pouzdanost dvostruko duljeg testa i
  njezina generalizacija na k-paralelnih testova
  prvi su put derivirani 1910.

• Kuder i Richardson (1937) razvili nekoliko
  metoda za ispitivanje pouzdanosti.

12
Teorija testova - razvoj

• 1951. Cronbach predlaže alpha koeficijent

• 1936. i 1954 Guilford Psychometric methods
• 1950. Gulliksen Theory of mental tests
• 1968. Lord i Novick Statistical theories of
  mental test scores.

13
Klasicna teorija testova
Tryon
Thorndike
Kuder
Gulliksen
Kelly
Pearson
Spearman
Richardson
Cronbach
Guilford
Brown
Lord
1895
1951
Teorija pravih rezultata i pogreške mjerenja
Eklekticka teorija pravih rezultata i paralelnih
testova
Teorija uzoraka iz domene ponašanja
14
Model paralelnih testova
Osnovne pretpostavke
a) Bruto rezultat svakog ispitanika predstavlja
linearnu kombinaciju pravog rezultata i
komponente pogreške X T E
b) Pravi rezultat jednak je u svakom od
paralelnih mjerenja
c) Komponente pogreške potpuno su slucajne
15
Osnovni koncepti vezani uz pouzdanost mjerenja
Koeficijent pouzdanosti rxx
Standardna pogreška mjerenja
Determinante pouzdanosti a) broj mjerenja b)
pouzdanost svakog pojedinog mjerenja
16
Neke osnovne formule
17
Nedostaci klasicne teorije
Fundamentalna pretpostavka u osnovi koncepta
pouzdanosti o paralelnim mjerenjima teško je
ostvariva u praksi
ovisnost indeksa lakoce i indikatora
diskriminativnosti zadataka o uzorku ispitanika
procjena pouzdanosti ovisna o uzorku ispitanika
komparacija ispitanika prema sposobnosti mjerenoj
skupom zadataka sadržanih u testu ogranicena je
na situaciju kada ispitanici rješavaju iste ili
paralelne zadatke
varijanca pogreške jednaka za sve ispitanike
ne daje osnovicu za odredivanje procjene uratka
ispitanika u zadatku
18
Nedostaci klasicne teorije
Mnogi testovi postignuca i sposobnosti su
prilagodeni za ispitanike prosjecnih sposobnosti,
pri cemu testovi ne nude preciznu procjenu
sposobnosti za vrlo uspješne i vrlo neuspješne
ispitanike.
Znacajna poteškoca jest usporedba ispitanika koji
rješavaju testove razlicite težine, buduci da
broj tocnih odgovora ovisi o težinskoj strukturi
zadataka
19
Razvoj modernih psihometrijskih koncepcija, koje
u osnovi predstavljaju sustav modela povezanih
skupom zajednickih pretpostavki, organiziran je
oko teorije latentnih osobina. Srodni termini
korišteni za oznacavanje ovih modernih koncepcija
jesu teorija karakteristicne krivulje zadatka ili
u novije vrijeme teorija odgovora na zadatke -
TOZ (Item Response Theory - IRT).
20
IRT razvoj ideje
Weiss i Yoes (1991) navode da korijeni pojave
TOZ-a leže u podrucju psihološkog skaliranja, te
psihofizici.
Bazicno, karakteristicna krivulja zadatka (u
nastavku KKZ)4 jest graficki prikaz razine
uspješnosti u nekom zadatku ili zadacima u odnosu
na neku nezavisnu mjeru kao što je mjerena
osobina, dob, itd. Definiranje krivulje
prikladnom matematickom funkcijom jedan je od
temeljnih problema teorije. 4 ICC - item
characteristic curve
21
1916. Binet i Simone prvi graficki prikazuju
razinu uratka u razlicitim kognitivnim testovima
u odnosu na dob i koriste grafove u razvoju
testova. Birali su zadatke za svoje testove
inteligencije upravo na osnovu karakteristicnih
krivulja zadataka, iako ih tako nisu nazivali.
Ovi grafikoni su kljucni koncept u TOZ.
Louis Guttman (1944) razvio je metodu skaliranja,
koja se može razmotriti kao deterministicki model
TOZ-a. Razvio je ideju o "liniji traga", koja
konceptualno odgovara karakteristicnoj krivulji
zadatka u TOZ-u.
22
Radovi Lorda pocetkom pedesetih, pod utjecajem
Lawleya, opcenito se smatraju rodenjem TOZ-a ili
"moderne teorije testova" kako se još naziva
1952. Lord opisuje 2-parametarski model za
dihotomne zadatke, zasnovan na modelu normalne
krivulje
Birnbaum 1957. (prema Lord i Novick, 1968)
spomenuti model "kumulativne normalne krivulje"
korišten od Lorda i drugih, zamjenjuje
prikladnijim logistickim modelom. Razvio je
potrebne statisticke procedure za logisticke
metode i olakšao upotrebu ovih modela drugim
psihometricarima. Sam je razvio 3-parametarski
logisticki model
23
Velik znacaj ima danski matematicar Georg Rasch,
koji je neovisno razvio 1-parametarski model TOZ
(1960). Ovaj model se cesto naziva Raschov model.
1969. javlja se BICAL kao prvi program za
procjenu parametara Raschovog modela.
24
OSNOVNI POJMOVI
U osnovi svaki TOZ pristup pretpostavlja, da u
testovnoj situaciji, uradak ispitanika u zadacima
ili testu može biti predviden (ili objašnjen)
definiranjem velicine atributa koja se nalazi u
osnovi uratka
Odnos izmedu "direktno mjerljivih" i "latentnih"
kvantiteta opisan je matematickom funkcijom. Zbog
toga su modeli teorije odgovora na zadatke
matematicki modeli, zasnovani na specificnim
pretpostavkama o testovnim podacima.
25
OSNOVNI POJMOVI
Jedna od temeljnih pretpostavki TOZ modela odnosi
se na pretpostavljeni oblik karakteristicne
krivulje zadatka (KKZ) ili kako se ponekad naziva
funkcija odgovora na zadatak (FOZ).
Ukoliko u dvodimenzionalnom koordinatnom sustavu
graficki prikažemo proporciju tocnih ili
indikativnih (alfa) odgovora u zadatku (ordinata)
za skupine ispitanika s razlicito razvijenim
mjerenim atributom (apscisa) dobit cemo krivulju
koja je najcešce monotona rastuca krivulja
S-oblika Ovakva krivulja dobivena za jedan
zadatak obicno se naziva empirijska
karakteristicna krivulja zadatka ili empirijska
funkcija odgovora na zadatak.
26
OSNOVNI POJMOVI
Kod populacije ne govorimo više o proporciji
tocnih/indikativnih odgovora vec ga mijenjamo
konceptom vjerojatnosti tocnog odgovora. Takoder
grafikon se ne zasniva na ukupnom testovnom
rezultatu, vec se koristi neka procjena latentna
osobine ? koju cestice testa mjere.
Grafikon za razinu populacije koji prikazuje
vjerojatnost tocnog odgovora na zadatak na
razlicitim razinama latentne psihološke dimenzije
predstavlja karakteristicnu krivulju zadatka ili
funkciju odgovora na zadatak
27
OSNOVNI POJMOVI
Na osnovu takve, matematicki definirane funkcije,
moguce je odrediti kondicionalnu vjerojatnost
tocnog (ili netocnog) odgovora Pi(?) ?ili Qi(?)?
za ispitanika zadane ? razine. Glavna razlika
izmedu popularnih TOZ modela jest u matematickom
obliku odredenja Pi(?), tj. definiciji
karakteristicne funkcije zadatka.
Postoji nekoliko parametara ili numerickih
indikatora koji opisuju karakteristicnu funkciju
odgovora na zadatak, iako razliciti modeli
koriste samo neke od parametara za definiciju
krivulje. Parametar težine zadatka, prema u
TOZ-u, definira se kao sredina funkcije.
28
OSNOVNI POJMOVI
Nadalje od važnosti u TOZ-u je tocka u kojoj se
krivulja (funkcija) mijenja iz pozitivno
akcelerirane u negativno akceleriranu. U toj
tocki nagib krivulje je maksimalan, te je i
diskriminativnost najveca. Diskriminativnost
zadatka u TOZ-u proporcionalna je ovom
maksimalnom nagibu krivulje
Treci važan parametar jest vjerojatnost povezana
s donjim krajem krivulje. Ovaj parametar odreduje
vjerojatnost tocnog/indikativnog odgovora za
ispitanike s vrlo niskom razinom sposobnosti.
Parametar se ponekad oznacava kao parametar
"donje asimptote" ili parametar
"pseudo-pogadanja".
29
OSNOVNI POJMOVI
Neka KKZ je potpuno definirana kada je
specificiran njen opci oblik i kada su poznati
njeni parametri za konkretni zadatak. Obzirom
na broj parametara koji koriste za opis funkcije
modeli se uobicajeno nazivaju 1-, 2- ili
3-parametarski.

30
Primjer karakteristicne krivulje zadatka pod 3-PL
modelom

31
Osnovne pretpostavke teorije odgovora na zadatke
ispitanik koji zna tocan odgovor na zadatak
vjerojatno ce tocno odgovoriti na njega
dimenzionalnost latentnog prostora k latentnih
dimenzija definira uradak ispitanika u zadatku
jedna od temeljnih pretpostavki TOZ modela odnosi
se na pretpostavljeni oblik karakteristicne
krivulje zadatka (KKZ) ili kako se ponekad naziva
funkcija odgovora na zadatak (FOZ).
Pretpostavka o lokalnoj neovisnosti. Lokalna
neovisnost znaci da vjerojatnost tocnog odgovora
na jedan zadatak ne ovisi o odgovorima na ostale
zadatke
Implicitna pretpostavka svih TOZ modela jest da
testovi na koje se modeli odnose nisu
primijenjeni pod uvjetima vremenskog ogranicenja
32
Neki model TOZ-a specificira odnos izmedu
testovnog rezultata, dostupnog opažanju i
latentne osobine ili sposobnosti za koju je
pretpostavljeno da je u osnovi ucinka u testu, a
koju nije moguce direktno mjeriti. Unutar širokog
okvira TOZ-a, mogu se operacionalizirati mnogi
modeli zbog velikog broja mogucih matematickih
oblika karakteristicne krivulje zadatka.
33
Teorija odgovora na zadatke - TOZ
Item Response Theory - IRT
Lord
Swaminathan
Guttman Moiser Lawley Lazarsfeld
Samejima
Wright
Birnbaum
Hambleton
McDonald
Rasch
1950
2000
logisticki modeli za binarne zadatke 1-
parametarski logisticki 2- parametarski
logisticki 3 -parametarski logisticki Model
integrala krivulje normalne distribucije
model za nominalne varijable
model za kontinuirane varijable
Multidimenzionalni modeli
34
Neki model TOZ-a specificira odnos izmedu
testovnog rezultata, dostupnog opažanju i
latentne osobine ili sposobnosti za koju je
pretpostavljeno da je u osnovi ucinka u testu, a
koju nije moguce direktno mjeriti. Unutar širokog
okvira TOZ-a, mogu se operacionalizirati mnogi
modeli zbog velikog broja mogucih matematickih
oblika karakteristicne krivulje zadatka.
35
1-parametarski logisticki model
36
2-parametarski logisticki model
37
3-parametarski logisticki model
38
Procjena individualnih parametara
39
Procjena individualnih parametara
40
Procjena individualnih parametara
41
Bazicni problem teorije odgovora na zadatke jest
procjena karakteristicne krivulje zadatka,
odnosno parametara koji su potrebni za njezino
definiranje unutar odabranog modela. U osnovi
problem je slican regresijskom problemu, ali se
ovdje najcešce radi o nelinearnoj regresiji.
Treba odabrati logisticku krivulju, poznatih
karakteristika koja najbolje opisuje
podatke. Ukoliko želimo procijeniti parametre
zadataka kada je ? poznato za svakog ispitanika,
primijenit cemo k zadataka na veliki broj
ispitanika i dobiti funkciju vjerodostojnosti za
odgovore N ispitanika na zadatak, koja izgleda 
42
Korisna osobina karakteristicnih funkcija
zadataka jest njihova aditivnost (shodno
pretpostavci o lokalnoj neovisnosti). Tako se
funkcije zadataka u testu mogu dodavati na svakoj
razini latentne dimenzije. Ova krivulja, kreirana
sumiranjem pojedinacnih funkcija zadataka naziva
se karakteristicna krivulja testa (KKT) ili
karakteristicna funkcija testa (KFT). Apscisa
kod funkcije KKT još uvijek predstavlja latentnu
dimenziju (?) mjerenu testom. Ordinata
predstavlja sumu vjerojatnosti tocnih odgovora na
svaki pojedini zadatak u testu. Kada se zbroje
ove vjerojatnosti, tako dobiveni rezultat se
naziva "pravi rezultat" ili procijenjeni broj
tocnih odgovora
43
Provjera prikladnosti modela
44
Koncept informacije u kontekstu teorije odgovora
na zadatke
45
Koncept informacije u TOZ
46
Determinante preciznosti procjene individualnih
parametara
a) Što je parametar b slicniji vrijednosti ?, tj.
što je zadatak težinski primjereniji razvijenosti
latentne osobine kod ispitanika, informacije je
veca
b) Što je veca diskriminativnost zadatka
informacija je veca
c) Informacija se povecava smanjenjem parametra
c, tj. reduciranjem vjerojatnosti slucajnog
pogadanja.
d) broj zadataka
47
(No Transcript)
48
(No Transcript)
49
Mogucnosti primjene TOZ Izrada banke zadataka
(ITEM POOL) Kada postoji banka sadržajno-valjanih
i tehnicki provjerenih zadataka, konstruktor
testa ima znatno olakšanu ulogu, te može saciniti
kvalitetniji test, nego kad sam priprema vlastiti
test. Potencijali takve banke (osobito
kalibrirane TOZ tehnikama) su a) lako se može
saciniti test za mjerenje nekog željenog predmeta
mjerenja b) unutar okvira banke zadataka možemo
kreirati testove s željenim brojem zadataka c)
kvaliteta testa se može znacajno poboljšati  
50
- odredivanje pristranosti zadataka (item bias).

• kompjutersko adaptivno testiranje (KAT).

51
Konstrukcija kompozitnih testova u kontekstu TOZ
Lord i Birnbaum (u Lord i Novick, 1968) opisuju
princip izbora zadataka a) Treba opisati oblik
željene informacijske funkcije testa. Lord je
naziva ciljna informacijska funkcija (CIFT). b)
Biraju se zadaci sa informacijskim funkcijama
koji ce popuniti željeno podrucje ispod
informacijske funkcije. c) Nakon što je svaki
zadatak dodan u test, racuna se IFT za odabrane
zadatke. d) Nastavi se izbor zadataka sve dok
IFT ne aproksimira ciljnu IFT do zadovoljavajuceg
stupnja (naravno, ako imamo na raspolaganju
dovoljno zadataka).
52
Zakljucno o TOZ
a) Razlicite nove mogucnosti kompjutersko
adaptivno testiranje izrada banke zadataka
b) procjena ispitanikove sposobnosti neovisna je
o specificnom poduzorku zadataka koji su
primijenjeni na ispitanika (tzv. "mjerenje
neovisno o testu").
c) uz pretpostavku o postojanju populacije
ispitanika, parametri zadatka (npr. težina i
diskriminativnost) neovisni su o specificnom
poduzorku ispitanika na kojem se vrši kalibracija
zadataka.
d) dostupna je statistika vezana uz preciznost
procjene sposobnosti za ispitanike razlicite
sposobnosti
53
Zakljucno o TOZ
e) Ispitanici sa istim klasicnim rezultatom (broj
tocnih odgovora) mogu se razlikovati prema
latentnoj ? vrijednosti
f) Klasicna mjera procjene mjerenog atributa nije
linearno povezana s theta dimenzijom.
g) Parametri težine i diskriminativnosti
medusobno su neovisni
h) Parametar težine izražen je na skali latentne
dimenzije
54
TOZ
55
(No Transcript)
56

"These days it is not easy to be a
psychometrician..."   I. Bejar
57
(No Transcript)