Andere Trainings

1
Andere Trainings

• Wer?
• Wie?
• Güte?

2
Übersicht

• Wer wird (wie) trainiert?
• Wie wird trainiert (Details)?
• Evaluation?

3
Übersicht

• Wer wird (wie) trainiert?
• Wie wird trainiert (Details)?
• Evaluation?

4
Wer wird trainiert?

• Operateure großtechnischer AnlagenMeteorologenPs
  ychologische TherapeutenÄrzte und anderes
  KlinikpersonalSoftware-TesterProdukt-Entwickler
  EntwicklungshelferManagement-TraineesSoldatenUm
  weltökologenSchülerRichterBuchprüferSicherheit
  singenieureSchlichter (juristische)Manager im
  GesundheitswesenPolizei und JustizangestellteVer
  handler, VermittlerLehrerSkeptiker

5
Soldaten

• moral decision support
• Ziel Unterstützung schwerer Entscheidungen,
  Absicherung gegen unnötige und belastende
  Gewissensbisse, ethisch vertretbares Handeln
• Biases Verfügbarkeit, Denken in
  Wahrscheinlichkeiten statt Sicherheiten, Outcome
  bias, hindsight biasThe first obstacle is a
  rationalization If its necessary, its moral.
  The second obstacle is the false necessity
  trap, in which necessity is treated as a fact
  versus an interpretation. The third obstacle is,
  If its legal and permissible, its proper.
• Lernen Consider the opposite, Wahrscheinlichkeite
  n

6
Operateure großtechnischer Anlagen

• Ziel Fehlerdiagnose
• Biases Outcome Bias, illusion of control,
  illusory correlation, logisches Denken (modus
  tollens), monokausales Denken, Risikoeinschätzung,
  confirmation bias
• Lernen systematisches Testen, logisches Denken,
  consider all possibilities,

7
Umweltökologen

• Ziel Korrekte Gefahreneinschätzung
• Biases confirmation bias, conjunction fallacy,
  Risikoabschätzung, Verfügbarkeit, rund um Bayes
• Lernen Umgang mit Wahrscheinlichkeiten (conj,
  Disj, bedingte), Probleme von Einzelfallwahrschein
  lichkeiten, Bayes, frequentistische Darstellung

8
Wo brauchen die Bayes?

• Hypothese marbled murrelets nisten/nisten nicht
  in Bereich
• Daten Sichtungen

(Foto eines marbled murrelet)
9
(No Transcript)
10
Produkt-Entwickler

• Ziel Abschätzen von Entwicklungschancen,
  Sackgassen vermeiden, Ideentest
• Biases deduktives Denken, hindsight bias,
  outcome bias, probabilistisches Denken,
  confirmation bias, honor sunk costs
• Lernen Umgang mit Wahrscheinlichkeiten, consider
  the opposite, deduktives Denken

11
Skeptiker

• PESTS Programm (Psychologists Educating
  Students to Think Skeptically)
• Ziel promote skepticism and critical thinking
  about psychology
• Andere Inhalte (Auswahl) Horoskope, Auras,
  backwards language, Zaubertricks
• Biases false Memories, Barnum Effekt,
  fallability of inferences, Überblick über alle
  Biases
• Lernen Existenz

12
Buchprüfer

• Ziel Entscheidungen verbessern (Betrug/korrekt),
  insbesondere Basisrate mit einbeziehen
• Biases Missachtung der Basisrate
• Lernen frequentistische Darstellung/Antwort,
  Einfluss der Basisrate

13
Buchprüfer (Experiment)

• Material (in Experiment) Brustkrebs,
  Management-Betrug (Zahlen aus Brustkrebs)
• UV1 Problem
• UV2 statistisches Format
• UV3 Basisrate
• AV korrekt
• Besser mit vertrautem Material
• Besser mit (für ihr Feld) realistischer Basisrate
• Besser mit Antwort im Frequenz-Format
• Insgesamt recht schlecht (untrainiert) passt zu
  Selbsteinschätzung über statistisches Wissen

14
Übergeordnete Muster

• 1. Deduktives Denken
• Adressaten Fehleranalyse, Musterentdeckung
• Trainingstyp formal
• 2. Gedächtnistäuschungen
• Adressaten persönliche Erinnerung spielt Rolle
• Trainingstyp Beispiele
• 3. Umgang mit Wahrscheinlichkeiten
• Adressaten Kommunikation von Risiken/Wahrscheinli
  chkeiten
• Trainingstyp Häufigkeitsdarstellung

15
Übergeordnete Muster

• Sackgassen, post hoc Kognitionen
• Adressaten Entscheider
• Trainingstyp consider the opposite,
  systematische Suche
• Bayes
• Adressaten Entscheider, Wahrscheinlichkeitsrevisi
  onisten
• Trainingstyp Häufigkeitsdarstellung,
  Entscheidungsbaum
• Zusammenhänge, Induktion
• Adressaten Krethi und Plethi, Mustersucher
• Trainingstyp Demonstrationen, Diagramme
• Altes Testament Die Leibwache des Königs
  David bestand aus Kretern (aus Kreta) und aus
  Plethern (d.h. Philister, Angehörige
  verschiedener Völkerschaften)

16
Übersicht

• Wer wird (wie) trainiert?
• Wie wird trainiert (Details)?Meteorologen
• Evaluation?

17
Motivation
Main reasons for not using (probabilistic)
predictions in decision-making processes
include ? forecasts are not accurate
enough ? fluctuation of successive forecasts
? competing or conflicting forecast information
? history of previous forecasts not available
? procedures for acquiring and integrating
forecasts into decision-making processes
have not been defined ? external constraints
forbid flexible response to forecast info ?
local information may be more important ?
value of forecast has not been demonstrated
All forecast system or impact system related
impediments
18
Motivation
Additionally, non-rational thinking or
cognitive illusions affect the optimal use of
(probabilistic) forecasts ? Capability of
human mind for solving complex problems is
limited compared with the size of problems ?
Lack of objectively rational behaviour in real
world ? Use of simple rules of thumb to
simplify decision making ? Heuristics are
often helpful, but can lead to biases,
especially in uncertain situations where
probabilities are encountered
19
The illusion of certainty
or how we construct a single certainty from
uncertain cues
(Bild zweier Tische)
Do these two table surfaces have the same shape
and area?
20
Weiterer Gang

• Biases aufzählen
• Brustkrebs in Bayes
• Brustkrebs im Häufigkeitsbaum
• Experimentelles Resultat (Gigerenzer) Häufigkeit
  viel besser

21
Probabilities vs. frequencies
Estimated chances of breast cancer given a
positive screening mammogram (from Gigerenzer,
2002)
22
Weiterer Gang

• DNA Beispiel (zum Selbermachen?)
• DNA Ergebnisse Profis vs. Studenten
• Framing Effekte (tödliche Krankheit)
• Anwendung auf Wetter

23
The framing effect in real life
Professionals, experienced in decision-making,
are still affected E.g., information for
doctors - mortality rate of 7 within 5 years
-gt hesitant to recommend - survival rate after
5 years of 93 -gt more inclined to recommend
Worded vs. numerical forecast - 11 judge
forecast rain is likely as poor if it did not
rain - 37 judge forecast 70 chance of
rain as poor if it did not rain although
they associate the word likely with probability
of 70
24
Weiterer Gang

• Ankereffekt
• Missachtung von Basisraten (an Wetter-Beispiel)
• Hindsight and confirmation bias (El Niño
  Beispiel)
• Belief persistence
• Rezept formale Modellprüfung, double blind
• Ash Experiment (???)
• Ziegenproblem (selber machen)
• Was tun?

25
Strategies to reduce CI influence
Recognition that decision-making is inherently
biased Understanding how written forecasts, and
numerical probability forecasts are
interpreted by potential users Try to reduce
impact of cognitive illusions by ? encouraging
forecaster groups to de-bias forecasts by
e.g. reducing overconfidence or hindsight bias
? taking care that media reports and forecasts do
not cause anchoring to extreme events
(e.g. El Nino 82/83) ? taking care in wording
forecasts to avoid framing ? avoid intuitive
approach when combining forecasts,
objective approaches exist and are more
successful ? ensuring that base-rates are not
ignored ? using additional visual aids to
convey real levels of skill
26
Summary
27
Übersicht

• Wer wird (wie) trainiert?
• Wie wird trainiert (Details)?Klimavorhersage
• Evaluation?

28
N. Nicholls, Cognitive Illusions, Heuristics,and
Climate PredictionBulletin of the American
Meteorological Society

• Wie umgehen mit Unsicherheit? Kommunikation mit
  Nicht-Klimatologen (Presse, Politiker, andere
  Wissenschaftler, Laien)
• Klimavorhersagen werden oft nicht benutzt (zu
  ungenau), obwohl besser als nichts (schlachte
  den, der sich traut ein schöner Experte ich
  irre mich seltener als andere)
• New evidence appears reliable and informative if
  it is consistent with ones initial beliefs
  contrary evidence tends to be dismissed as
  unreliable, erroneous, or unrepresentative
• Um die kognitiven Illusionen der Nutzer von
  Klimavorhersagen wissen
• Framing p(Regen) ist nicht 1 p(trocken)
  (besser 30 trocken als 70 Regen)
• Anchoring extreme Klimaereignisse
• Confirmation bias (vergiss die Fehler von
  Nicht-Klimatologen)
• Belief persistence (ignore evidence that
  contradicts their prior belief)
• Decision regret (mehr bei unkonventionellem
  Handeln)

29
Was tun?

• forcing forecast groups to actively search for
  counterexamples
• to ensure that media reports and forecasts do not
  cause anchoring to extreme events
• Wisse welche Wörter für welche Wahrscheinlichkeite
  n
• Kein framing in Vorhersagen (evtl. mehrere
  Formulierungen)
• Keine intuitive Korrektur an formalen Modellen
• Use visual aids

30
Übersicht

• Wer wird (wie) trainiert?
• Wie wird trainiert (Details)?Management
  Studenten
• Evaluation?

31
Basiert auf Thomas Gilovich (1991) How we know
what isn't so. The Free Press.Management
Judgment and Decision

• Motivation besser entscheiden
• Denken und Problemlösen
• Wahrnehmung (opt. Täuschungen)
• Lernen und Gedächtnis
• Gruppen, soziale Beziehungen
• Fairness
• Soziale Dilemmata
• Entscheidungen
• Entscheidungen in Organisationen
• Ausblick
• Was fehlt??

32
Übersicht

• Wer wird (wie) trainiert?
• Wie wird trainiert (Details)?
• Evaluation?

33
Competence Begets Calibration Journal of
Personality and Social Psychology December 1999
Vol. 77, No. 6, 1121-1134 (Exp. 4)

• incompetent individuals lack the metacognitive
  skills that enable them to tell how poorly they
  are performing, and as a result, they come to
  hold inflated views of their performance and
  ability.
• (1) Wason Aufgabe und ähnliche puzzles
• (2) Selbsteinschätzung (Perzentil im Vergleich
  mit anderen)
• (3) Kurztraining deduktives Denken oder
  Füller-Aufgabe (UV)
• (4) Selbsteinschätzung, welche der Aufgaben in
  (1) sie richtig haben
• Ergebnis bessere Selbst-Einschätzung nach
  Training
• Fazit???

34
IMPROVING STATISTICAL REASONING BY USING THE
RIGHTREPRESENTATIONAL FORMAT (Sedlmeier)

• Computerprogramm zum Lehren von
  Wahrscheinlichkeiten (Bayes) in der Schule
• Evaluationsidee Wahrscheinlichkeitsbaum vs.
  Häufigkeitsbaum

35
(No Transcript)
36
IMPROVING STATISTICAL REASONING BY USING THE
RIGHTREPRESENTATIONAL FORMAT (Sedlmeier)

• Computerprogramm zum Lehren von
  Wahrscheinlichkeiten (Bayes) in der Schule
• Evaluationsidee Wahrscheinlichkeitsbaum vs.
  Häufigkeitsbaum
• Ergebnis Baum alleine fast nutzlos

37
TEACHING DECISION MAKING AND STATISTICAL THINKING
WITH NATURAL FREQUENCIESMartignon Wassner

• The aim of the paper is to show that an extensive
  use of "natural frequencies" combined with the
  adequate use of the computer for graphically
  exhibiting the bridge between frequencies and
  probabilities may provide the adequate
  representational environment for teaching
  probability in schools

38
Beispiel Der vollständige Baum
39

• Schüler (15-19)
• (1) Vortest (Wahrscheinlichkeit)
• (2) Training (Baum/formal) (Dauer???)
• (3) Nachtest
• 
  Vortest
  Nachtest
• Ergebnis Formale 38
  62
• Bäumer
  45 92