Validit

1
Validität der Arbeitszufriedenheits-
Messinstrumente

• Susanne Büsing
• Tobias Jagusch

2
Validität

• Unter Validität eines Messverfahrens versteht
  man seine Gültigkeit es sollte tatsächlich das
  messen, was es vorgibt zu messen.
• Bezüglich der Def. AZ kein Konsens
• Deshalb immernoch There is no one best way to
  measure it
• Hauptschwierigkeiten bei der Messung von AZ ist
  die Tatsache, dass AZ ein hypothetisches
  Konstrukt ist, welches nur anhand von Indikatoren
  erfasst werden kann.
• Kernproblem Validität der Indikatoren
• Zufriedenheitsraten von 60-80 der Befragten
  lassen Zweifel an der Validität der
  standardisierten Instrumente aufkommen

3
Gliederung

• Die Gültigkeit der Daten allgemein
• Das Artefakt-Argument
• Das Ambivalenz-Argument
• Das Manipulierbarkeits-Argument
• Das Spillover-Argument
• Verzerrung der Daten nach oben?
• Das Selbstselektions-Argument
• Abwehrmechanismen und asymmetrisches Vergessen
• Gesenktes Anspruchsniveau
• Soziale Erwünschtheit

4
Bestreitung der Datengültigkeit von AZ-Ergebnissen

5
Das Artefakt-Argument

• Gegen globale Fragen zur AZ gerichtet
• Die Befragungsergebnisse sind kaum sinnvoll
  interpretierbare Produkte der Fragestellung
• Fehlende einheitliche Definition von AZ
• Fragestellung sei den Befragten fremd
• Diskrepanzen zwischen der AZ-Def. der Fragenden
  dem AZ-Verständnis der Befragten?
• Inwieweit weicht das AZ-Verständnis der Befragten
  untereinander und gegenüber der
  forschungsleitenden Definition ab?

6
???Fragestellung/ Definition???

• Fragestellung ist den Befragten fremd
• Würde eine zweite Messung erst echte Ergebnisse
  liefern?
• ???Reaktivität???
• Wie könnten Diskrepanzen zwischen der AZ-Def. Der
  Fragenden dem AZ-Verständnis der Befragten
  überwunden werden?

7
Der AZ steht vor der Befragung nichts Reales
gegenüber ?Artefekte

• Befragte haben sich oft nicht klargemacht, worum
  es bei AZ geht.
• Vielleicht finden weder die postulierten
  kognitiven Prozesse, noch die Empfindungsqualitäte
  n statt
• Extremgruppenvergleich (Gebert)
• G1 keine pos. Gefühle bei Gedanken an Arbeit
• G2 überdurchschnittlich viele pos. Gefühle bei
  Gedanken an Arbeit
• ? kein signifikanter Unterschied in der global
  abgefragten AZ
• Gehen Empfindungen bei der Arbeit in das
  Zufriedenheitsurteil ein?

8
Wird die Einstellung AZ erst durch den
Messvorgang erzeugt (als Artefakt)?

• Keine empirischen Belege
• Behauptung von Sandelands/ Larson
• Hohe Reaktivität bei Laborexperimenten, jedoch
  nicht bei Feldexperimenten
• Es ist unklar, wie mit dem Problem der
  Reaktivität umgegangen werden soll

9
Das Ambivalenz-Argument

• Scott Allgemeine AZ Teil AZ
• Zufriedenheit je nach dem, mit wem man sich
  vergleicht
• Beachtet Aspekte wie Arbeitsinhalt Vorgesetzte
• Neuberger Ambivalenz derselbe Faktor wird
  zugleich als befriedigend und als unbefriedigend
  erlebt
• Bsp Fachlich sehr kompetenter, menschlich
  unangenehmer Vorgesetzter
• Auf Teil AZs der Teil AZs bezogen

10
AZ wird reduziert auf die Einstellung zur Arbeit

• Reduktion der Zufriedenheit mit der jeweiligen
  Arbeit auf eine Einstellung zur Arbeit (Volmerg)
• Einstellungsbegriff ? Widerspruchsfreiheit
• AZ als pos. Einstellung zur Arbeit
• Eine äußerst angenehme Tätigkeit kann stärker ins
  Gewicht fallen als ein besonders unangenehmer
  Vorgesetzter oder umgekehrt bei neg. Einstellung

11
Bleiben bei den gängigen AZ-Skalen Ambivalenzen
unberücksichtigt?

• Jein, bisher gibt es keine Erhebungen zum Ausmaß
  der Ambivalenzen
• Eindimensionale AZ-Skalen können keine
  Ambivalenzen erfassen
• Extremwerte lassen sich zuordnen, Ambivalenzen
  fallen unter Keine Angabe
• Die Befragten müssen alles gegeneinander abwägen
  um ein Gesamturteil zu bilden
• Im ABB gibt es keine Kategorie Unentschieden
  mehr. (?zu oft von VPN verwendet)
• Gebert Die AUZ als Unzufriedenheitsempfindung
  korreliert mit der Häufigkeit von zwiespältigen
  Einstellungen zur Arbeit mit 0.66

12
Wann spricht das Ambivalenz-Argument gegen die
Validität?

• Wenn die neutrale Kategorie fehlt
• Wenn die Ambivalenz Situationsbedingt ist
• Indiz für die Zufälligkeit, geringe
  Retest-Reliabilität
• Oder Änderung der Arbeitssituation bzw. der
  individuellen Beurteilungsstandards
• Frage Ist AZ ein kurzfristiges oder
  langfristiges Konstrukt? ? Meist Anweisung,
  Antworten ohne Überlegung zu geben

13
Ambivalenz-Argument in der Forschung

• Argument ist nach Gawellek nicht stichhaltig, es
  sei denn, dass sich nicht alles zum Gesamturteil
  zusammenfassen lässt
• Wichtig zur Interpretation von Unentschiedenheitsa
  ntworten
• Es sollte stärker beachtet werden
• Vielleicht hängt das Verhalten der Beschäftigten
  auch davon ab, inwieweit sie ihre
  Arbeitssituation als ambivalent erleben.

14
Das Manipulierbarkeits-Argument

• Manipulation von Befragten
• Skepsis gegenüber der Anonymität
• Befürchtung von Nachteilen seitens des
  Arbeitgebers bei freier Meinungsäußerung
• Ggf. Verzerrung in die neg. Richtung (durch
  Überbetonung) um auf Missstände aufmerksam zu
  machen
• Manipulation durch die Art der Frage bzw. Antwort
• Direkte/ indirekte Fragen
• Pos. oder neg. Formulierung
• Antwortformat ?Skalentyp

15
Antworten sind von direkten indirekten Fragen
abhängig

• Direkte Fragen führen i.d. Regel zu höheren
  AZ-Werten
• If you were starting over in your working
  career, would you lean toward taking the same
  type of job you have now?
• Sind direkte Fragen invalide?
• Können indirekte Fragen etwas anderes messen als
  AZ?
• Z.B. Vorstellungskraft
• ?Fragearten führen zu unterschiedlichen
  Ergebnissen

16
Pos., neg. oder extreme Frageformulierung

• Fragen nach AUZ führen eher aber nicht generell
  zu höheren AZ-Werten als positiv formulierte
• Extremität der Frageformulierung
• Ich bin mit meinem Kollegen sehr zufrieden
• Ich bin mit meinem Kollegen außerordentlich
  zufrieden

17
Vermutung, die Antworten seien vom Antwortformat
abhängig

• Exp Die gleichen Fragen bezüglich desselben
  Themas wurden auf unterschiedlichen Skalen
  bewertet
• Bipolare Skala ?höhere AZ-Werte als bei den
  anderen Skalen
• Messinstrumente müssen hinsichtlich ihrer Güte
  hinterfragt werden, keine Gütekriterien angegeben
  (Huber)
• ?Antworten können je nach Fragestellung
  Antwortformat variieren. Dies muss im Blickpunkt
  bleiben, damit nicht Gefahr gelaufen wird,
  Manipulationen zu unterliegen

18
Das Spillover-Argument

• Die extreme Unzufriedenheit des Arbeitgebers mit
  einem Aspekt seiner Arbeit kann einen starken
  Effekt auf seine Gefühle zu anderen Aspekten
  seiner Arbeit haben
• Ausstrahlungseffekte Validität der Teil
  Zufriedenheiten
• Das Argument bekommt nur Gewicht, wenn die
  Vermutung besteht, dass die Teil-AZ-Korrelationen
  auf Ausstrahlungseffekten beruhen
• ?keine emp. Belege

19
Sind die AZ-Ergebnisse nach oben verzerrt?

20
4 Argumente die für die Verzerrung der Daten nach
oben sprechen

• Selbstselektionsargument
• Die Argumente Abwehrmechanismen Asymmetrisches
  Vergessen
• Das Argument Gesenktes Anspruchsniveau
• Das Argument Soziale Erwünschtheit

21
Selbstselektionargument

• Nur die Zufriedenen nehmen an der Befragung
  teil
• Hohe AZ-Werte resultieren aus der Freiwilligkeit
  der Befragungs-Teilnahme
• Verdacht Selbstselektion der Zufriedenen führt
  zu hohen Zufriedenheitswerten
• Rücklaufquoten meist deutlich unter 100
• Vermutung Weniger schreib-/ redegewandte
  /-willige verweigern die Teilnahme an der
  Befragung
• ?Hoher Anteil der mit der Arbeit Zufriedenen
  beruht auf einem verzerrten Bild der Realität

22
Schwierigkeit bei dem Selbstselektionargument

• Um Einwände zu belegen ist der Nachweis nötig,
  dass die tatsächlich weniger schreib- bzw.
  redegewandten die Teilnahme verweigern,
• dass sie schlechteren Arbeitsbedingungen
  unterliegen und deshalb mit ihrer Arbeit
  unzufrieden sind.
• Problem Es gibt keine weiterreichenden Daten
  über die Befragungsverweigerer
• Weiter Standardisierte Fragebögen (simples
  Ankreuzen) dürften auch für nicht schreib- und
  redegewandte verständlich sein

23
Abwehrmechanismen und asymmetrisches Vergessen

• A) Befunde hoher AZ werden häufig auf psychische
  Abwehrmechanismen zurückgeführt .
• Kornhauser
• Angestellte sehen oft wenig Chancen, sich aus der
  aktuellen Arbeitssituation zu befreien.
• Das Eingeständnis, das ihr Job nicht
  zufriedenstellend ist, ist zu schmerzvoll.
• Aus dem natürlichen Hang zum Selbstschutz ergibt
  sich ein Bias positive Akzente der Arbeit
  überzubewerten

24
Abwehrmechanismen und Gesellschaftliche Normen

• Kern/Schumann
• Betonung der Rolle gesellschaftlicher Normen
• Gesellschaftliche Leistungsnormen führen dazu,
  dass Erfolg häufig mit Erfolg in der Arbeit
  gleichgesetzt wird
• Kritik an der Arbeit fällt zwangsläufig mit
  Kritik an der Person zusammen.
• Gebot positiver Selbstinterpretation
• Alles in Allem zufrieden zu sein, auch wenn viele
  Einzelheiten als negativ bezeichnet werden

25
Abwehrmechanismen und Validität

• Abwehrmechanismen sprechen immer dann gegen die
  Validität, wenn von einem AZ-Konzept ausgegangen
  wird, bei dem derart zustande gekommene
  Ergebnisse nicht mehr als echte AZ angesehen
  werden können.
• Jedoch ist die Annahme mit einem
  undifferenzierten Diskrepanzkonzept vereinbar
• Weiteres Indiz für Ungültigkeit der AZ-Befunde
  Nachweis, dass die Abwehr-Prozesse durch die
  Erhebung selbst hervorgerufen werden oder aber
  nur in der Erhebungssituation auftreten.

26
Asymmetrisches Vergessen

• Neuberger versteht darunter Verdrängungsprozesse
  
• Hohe AZ, Ergebnis eines Stichprobenfehlers?
• Es gibt viele Erlebnisse, pos. neg. Natur im
  Arbeitsleben
• Durch psychogene Verdrängungen vieler
  Alltagsärgernisse werden möglicherweise die
  falschen Schlüsse gezogen.
• Zusammenfassende Wirkung könnte dazu führen, dass
  die AZ nicht mehr angemessen repräsentiert wird.

27
Asymmetrisches Vergessen

• Unklar bleibt jedoch, worauf Asymmetrisches
  Vergessen hinauszielt
• 1. Auf die Annahme
• - pos. Ereignisse bleiben leichter im Gedächtnis
• 2. Oder aber durch die
• - Entstehung einer Verzerrung durch den Zwang
  zur Abgabe eines Globalurteils

28
Gesenktes Anspruchsniveau

• Rückführung hoher AZ-Werte auf ein reduziertes
  Anspruchsniveau, die Zeichen und Ausdruck von
  Resignation sein können
• Wird weiter von einer unmodifizierten
  Diskrepanzkonzeption der AZ ausgegangen, zielen
  diese Vermutungen nicht auf die Invalidität der
  AZ-Ergebnisse
• AZ ist auch abhängig vom jeweiligen
  Anspruchsniveau. Weniger ein Problem der
  Validität, als von dem AZ-Konstrukt, welches
  undifferenziert AN nicht explizit berücksichtigt
• AN-Vermutung ist eher als Hinweis einer
  Unzulänglichkeit bei der Zugrundelegung einer
  differenz. AZ-Konzeption zu betrachten.
• Brüggemann AZ wird in Abhängigkeit von deren
  Zustandekommen unterschieden.

29
Argument Soziale Erwünschtheit (SD Social
Desirability)

• Einer der gängigsten Einwände gegen AZ-Befunde
• Die Annahme auf Antwortverzerrung infolge
  sozialer Erwünschtheit
• Ganster versteht unter sozialer Erwünschtheit
  ... a tendency for an individual to present him
  or herself in a way that makes the person look
  positive with regard to culturally derived norms
  and standards
• Mummendry sieht das Konstrukt soziale
  Erwünschtheit gewissermaßen als
  Allerweltskonstrukt, auf welches immer dann
  zurückgegriffen wird, wenn es an die
  Interpretation hypothesenkonformer Ergebnisse
  empirischer Untersuchungen geht.
• SD ist für ihn nicht die Ausprägung von AZ,
  sondern Ausdruck von Täuschungsverhalten.
  Befragte verfälschen mehr oder weniger die als
  wahr oder echt aufgefassten Reaktionen durch
  im Sinne sozialer Normen korrigierte Reaktionen

30
2 mögliche Betrachtungswinkel für SD-Effekte

• SD-Effekte können einerseits als response-set auf
  dem Hintergrund der zugrundeliegenden Frage
  untersucht werden und andererseits als
  response-style als im Sinne einer
  Persönlichkeitseigenschaft

31
pos? SD-Verzerrung ?neg.

• Entgegen Behauptungen hohe AZ-Werte auf die
  soziale Erwünschtheit von Zufriedenheit
  zurückzuführen steht die Erwägung eines Bias in
  die negative Richtung. Geht man davon aus, dass
  auch Kritiklosigkeit als sozial unangesehen
  ansehen (Bartz)
• Glatzer Hegt generell gar keine Erwartungen
  hinsichtlich positiver Zufriedenheitsäußerungen
• Artikulation von Unzufriedenheit sozial
  weitestgehend akzeptiert

32
Empirische Ergebnisse hinsichtlich SD-verzerrter
Antworten

• Mittels SD-Kontrollskalen( Crown/ Marlow,
  CM-Skala) wurde der Frage nachgegangen inwieweit
  ein Antwortverhalten bei AZ-Fragebogen durch
  SD-Tendenzen beeinflusst ist
• Vielfach signifikante in der Regel aber nur
  schwache Zusammenhänge zwischen den AZ und den
  SD-Daten
• Ganster Korrelationen der 5 JDI-Skalen mit der
  CM-Skala im Bereich von 0.03 bis 0.08

33
Positive, aber schwache Zusammenhänge...

• Cawsay ermittelte höhere Koeffizienten. 12 bzw.
  14 der Varianz des aus den 5 Einzelskalen
  gebildeten JDI Summenscores durch SD erklärt
• ABB ? nur schwache Hinweise auf sozial erwünschte
  Antworten
• Einzelne ABB-Skalen korrelieren ausnahmslos
  negativ mit der Skala Offenheit des FPIs,
  Werte sind jedoch fast immer deutlich unter 0.4

34
3 Modelle in denen die Variable SD für kommende
AZ-Forschung von Bedeutung sein könnte

• 1.Spuriousness model Korrellation 2er eigentl.
  zusammenhanglosen Variablen die anhand
  SD-Verzerrungen gemeinsame Varianzanteile
  aufweisen
• 2.Suppression model Tatsächlicher Zusammenhang
  2er Größen bleibt wegen SD-Einfluss unentdeckt
• 3.Moderator model SD moderiert Zusammenhang
  zwischen unabhängiger und abhängiger Variable
  wenn Interaktion zwischen Größe SD und
  unabhängiger Variable vorliegt
• Aber Derzeit für AZ-Forschung keine fundierten
  Aussagen über durch SD hervorgerufene Effekte
  möglich

35
Zusammenfassung der SD-Ergebnisse

• Es gibt positive Verzerrungen durch SD
• Jedoch Schwache Zusammenhänge
• Der SD wird ein zu starkes Gewicht beigemessen
• Unbeantwortet
• Welches AZ Messinstrument ist für SD am
  unanfälligsten?
• SD-Effekte können schwer eliminiert werden
• Die SD-Skalen korrelieren nur schwach miteinander
• Verschiedene SD-Skalen würden unterschiedliche
  Änderungen nahelegen

36
Fazit

• Einwände gegen Validität werden meist ohne
  empirische Belege vorgebracht
• Es sind derzeit keine klaren Validitätsaussagen
  darüber möglich, ob die Instrumente das messen,
  was sie messen sollen
• Zurückzuführen ist dies auf die vage begriffliche
  Bestimmtheit des Konstrukts AZ
• Dies hat zur Folge, dass man sich schwer tut, die
  verschiedenen AZ-Messinstrumente in eine
  Validitätsrangreihe zu bringen
• So kann wohl keines als das valideste bezeichnet
  werden, es bleibt nur der Hinweis, dass die
  einzelnen Verfahren nicht das gleiche messen
• Ein Ansatz zur Lösung des Validitätsproblems wäre
  eine Einigung über eine AZ-Definition

37
Vielen Dank für die Aufmerksamkeit

• Susanne Büsing Tobias Jagusch