Validita a reliabilita

1
Validita a reliabilita
2
Podmienky na získanie hodnotných dát v teréne

• Teoretické oboznámenie sa s výskumným nástrojom a
  zacvicenie
• Správne použitie výskumných nástrojov
• Korektné vyhodnotenie dát
• Kontakt so skúmanými osobami

3
Validita

• je schopnost výskumného nástroja zistovat to, co
  bolo zamýšlané zistovat.
• je vlastne vztah výskumného nástroja k teórii, na
  základe ktorej bol výskumný nástroj vyvinutý.
• je to vyjadrenie o platnosti tohto nástroja.
• je kontextovo viazaná.

4
Obsahová validita

• vyjadruje mieru, do akej sa obsah výskumného
  nástroja kryje s obsahom meranej oblasti.
• má svojou podstatou kvalitatívny charakter.

5
Kritériová validita

• Vyjadruje mieru zhody medzi výsledkami výskumného
  nástroja a výsledkami iných meraní uskutocnených
  s použitím známych, overených nástrojov.
• súbežná validita vyjadruje sa mierou zhody
  výsledkov podla jedného výskumného nástroja
  a výsledkami iného (overeného) výskumného
  nástroja tých istých subjektov v tom istom case.
  Stupen zhody sa obycajne zistuje korelacným
  koeficientom.
• predikcná validita vyjadruje mieru zhody
  budúcich výsledkov v zvolenom kritériu.
  Porovnanie výsledkov v merných nástrojoch sa
  uskutocnuje s casovým odstupom.

6
Konštruktová validita

• Vyjadruje mieru zhody výsledkov v posudzovanom
  výskumnom nástroji s pedagogicko-psychologickou
  teóriou (konštruktom), ktorá vysvetluje podstatu
  pozorovaného fenoménu.
• Konštrukt je abstraktný pedagogický respektíve
  psychologický pojem vedomost, schopnost,
  tvorivost atd.

7
Zistovanie konštruktovej validity

• Hodnotenie výskumného nástroja expertmi.
• Porovnanie výsledkov daného nástroja s podobným
  nástrojom, o ktorom je overené, že zistuje daný
  konštrukt.
• Tretí spôsob pomocou štatistickej metódy zvanej
  faktorová analýza.

8
Interná validita

• je vlastnost výskumného nástroja a realizácie
  výskumu vrátane spracovania jeho výsledkov a ich
  interpretácie.
• je primárna.

9
Externá validita

• Externá validita súvisí s mierou, v akej môžeme
  uplatnit výskumný nástroj, spôsob realizácie,
  spracovania a vyhodnotenia výsledkov v inej
  situácii, case, podmienkach.
• Externá validita môže vzniknút iba za podmienky
  existencie internej validity.
• Efekt Johna Henryho
• Hawthornský efekt
• Pygmalion effect / Observer-expectancy effect

10
Efekt Johna Henryho

• sútaživost subjektov kontrolnej skupiny, ktorí
  pod vplyvom informácie, že sú clenmi kontrolnej
  skupiny majú snahu dosiahnut lepšie výsledky ako
  experimentálna skupina.
• výsledky kontrolnej skupiny prekrývajú úcinnost
  nezávislej premennej.

John Henry lies dead after beating the steam drill in this painting by the African-American painter Palmer Hayden. Born in 1890, Hayden grew up in Virginia where his father sang John Henry songs to him. In the 1940s, Hayden used his memories of the men he grew up with to craft a series of paintings about John Henry. Poštová známka s námetom Johna Henryho
11
Hawthornský efekt

• reakcia skúmaných osôb nie na experimentálnu
  manipuláciu s premennými, ale na skutocnost, že
  sú skúmané.
• Termín bol zavedený v roku 1950. Henry A.
  Landsberger po tom co preskúmal staršie
  experimenty z rokov 1924 1932 v Hawthorne Works
  (Western Electric factory outside Chicago)
  o vplyve osvetlenia na a pracovný výkon.
• Výsledky zistené v experimentálnej skupine
  podliehajú dominantne vnútornej motivácii
  subjektov k lepším výsledkom, ktorá vyplýva
  z vedomia, že sú súcastou daného výskumného
  šetrenia.

12
Pygmalion effect

• ... alebo Rosenthal effect odkazuje na jav, pri
  ktorom sa subjekty výskumu prezentujú tým lepšie,
  cím väcšie nároky (ocakávania) sú na nich
  kladené.
• ucitel ako premenná !
• správanie ucitela a IQ detí
• hodnotenie ucitela žiakmi

13
Observer-expectancy effect

• Je efekt, pri ktorom výskumník môže spôsobit
  neúmyselné ovplyvnenie úcastníkov experimentu.
• Ocakávania výskumníka môžu ovplyvnit realitu.

14
Validita kvalitatívneho výskumu

• sa zabezpecuje dlhodobostou výskumu,
  bezprostredným kontaktom s pozorovaným fenoménom,
  detailným opisom každej malickosti.
• Validitu možno v kvalitatívnom výskume podporit
• súbežným použitím viacerých metód zberu údajov
  vychádza sa z premisy, že každá metóda lepšie
  uchopí iný aspekt pozorovaného fenoménu, co
  prispeje k jeho lepšiemu pochopeniu
  a interpretácii. Získané výsledky sa vzájomne
  porovnávajú a konfrontujú,
• súbežným pozorovaním viacerými výskumníkmi.
  Podstata použitia a výsledkov je podobná prvému
  postupu,
• súcasným využitím viacerých teoretických
  prístupov.
• Pri validnom interpretovaní výsledkov
  kvalitatívneho výskumu sa casto odporúca pät
  spôsobov kritického uvažovania o kvalitatívnych
  dátach, ktorého cielom sú validnejšie zistenia
• princíp vyvrátitelnosti,
• metóda systematického pozorovania,
• úplné spracovanie dát,
• analýza deviantných prípadov,
• využitie vhodných tabuliek.

15
Reliabilita

• Charakterizuje presnost, konzistentnost merania.
• Vyjadruje teda spolahlivost merania.

16
Existujú tri základné faktory, ktoré ovplyvnujú
reliabilitu

• Rozsah výskumného nástroja (pocet položiek)
• Homogenita výskumného nástroja
• Obtažnost úloh výskumného nástroja

17
Existuje niekolko spôsobov zistovania reliability

• Opakovanie administrácie výskumného nástroja
• Rozpolovanie výskumného nástroja
• Odhad vnútornej konzistencie výskumného nástroja

18
(A) Opakovanie administrácie výskumného nástroja

• test retest
• pri opakovaní administrácie sa postupuje tak, že
  sa ten istý výskumný nástroj zadáva dvakrát tým
  istým ludom s casovým odstupom. Potom sa vypocíta
  miera zhody medzi výsledkami prvého a druhého
  administrovania.

19
(B) Rozpolovanie výskumného nástroja

• ak je výskumný nástroj dostatocne homogénny,
  stací test administrovat jedenkrát. Pri výpocte
  sa test rozdelí na dve polovice. Jednu polovicu
  tvoria výsledky párnych položiek a druhú výsledky
  nepárnych položiek.
• osobitne sa vypocíta skóre pre párne a pre
  nepárne položky. Výsledky nepárnych a párnych
  položiek sa skorelujú.
• výsledok však nie je realistický korekcný
  vzorec Spearmana a Browna

 
20
(C) Odhad vnútornej konzistencie výskumného
nástroja

•  

21
Reliabilita pri metóde pozorovania

• metóda posúdenia dvomi nezávislými hodnotitelmi
  (inter-rater reliability).
• vypocíta sa stupen zhody (obycajne v )

22
Vztah medzi validitou a reliabilitou

• Dobrý výskumný nástroj musí mat dostatocnú
  validitu i dostatocnú reliabilitu. Ak je validita
  nízka, je zrejmé, že výskumný nástroj zistuje
  nieco iné, než to, co výskumník chcel zistovat. V
  tom prípade ani vysoká reliabilita (ak je vôbec v
  takomto prípade možná) nie je zárukou získania
  dobrých dát. Podobne, ak je reliabilita velmi
  nízka, vysoká validita nezachranuje hodnotu
  daného nástroja. Pre výskumníka je preto jediná
  cesta hladat (alebo skonštruovat) výskumné
  nástroje, ktoré sú dostatocne validné i
  dostatocne reliabilné.

23
Reliabilita v kvalitatívnych výskumoch

• V kontexte kvalitatívnych výskumov reliabilita
  dominantne hovorí o stupni zhody, s akým rôzni
  pozorovatelia alebo ten istý pozorovatel
  v rôznych situáciách zaradia pozorované prípady
  do tej istej kategórie. Inak povedané chápu
  a interpretujú ich zhodne.
• Pre kvalitatívny výskum napríklad platí, že jeho
  precízna štrukturácia je ohranicená. Mnohokrát sa
  merajú atypické, v istom zmysle unikátne,
  premenlivé fenomény, co prirodzene dost obmedzuje
  replikovatelnost, co je základný predpoklad
  reliability.
• Povinnostou výskumníka je preto v kvalitatívnych
  výskumoch predovšetkým, aby zdokladoval svoj
  postup a preukázal, že použité kategórie
  aplikoval správne.