La valutazione delle competenze scientifiche

1

• La valutazione delle competenze scientifiche
• Michela Mayer
• Science Expert Group Pisa 2006
• INVALSI- Rapporto PISA italiano per le scienze

2
E importante valutare le competenze
scientifiche?

• In Italia non è così scontato
• Gruppo di lavoro per la diffusione della cultura
  scientifica e tecnologica presieduto da L.
  Berlinguer

3
Italia, paese di scienziati?

• Siamo tra gli ultimi nei Paesi OCSE
• Gli studenti italiani non sanno perchè ci sono il
  giorno e la notte
• La nostra scuola non fornisce competenze
  scientifiche e matematiche

• Abbiamo i migliori ricercatori del mondo
• I nostri ragazzi arrivano primi alle olimpiadi
  scientifiche
• La nostra è una scuola seria, sono i test che si
  sbagliano

4
Chi valuta le competenze e perché?

• Le indagini internazionali - PIRLS, TIMSS, PISA
  si sono proposte negli ultimi 10 anni di
  valutare competenze e non solo conoscenze.
• Per competenza si intende (OCSE, DeSeCo, 2002)
• La capacità di rispondere a esigenze individuali
  e sociali,
• o di svolgere efficacemente un'attività o un
  compito.
• Ogni competenza comporta dimensioni cognitive,
  abilità, attitudini, motivazione, valori,
  emozioni e altri fattori sociali e
  comportamentali

5
Cosè TIMSS?

• Trends in International Mathematics and Science
  Study
• Si rivolge a studenti di 4 elementare e 3 media
• Il test è rivolto agli studenti della stessa
  classe, e il questionario insegnante permette di
  interpretare i risultati degli studenti anche in
  relazione agli stili di insegnamento.
• Tiene conto dei curricoli nazionali
• Si ripete ogni 4 anni
• Nel 2007 hanno partecipato 37 nazioni per la 4
  elementare e 50 per l8 anno di scolarizzazione.
• Attraverso lanalisi dei risultati vengono
  definiti 4 livelli di competenza avanzato, alto,
  intermedio, basso.

6
Cosè PISA?

• PISA - Programme for International Student
  Assessment
• Indagine internazionale promossa dallOCSE
• lattenzione non è sui contenuti curricolari
  quanto sulle capacità ad affrontare problemi e
  compiti di vita quotidiana

7
PISA

• si rivolge solo ai quindicenni, in qualunque
  tipo di scuola si trovino
• propone rilevazioni ogni tre anni, su tre aree
  (lettura, matematica, scienze)
• 32 paesi partecipanti nel 2000, 41 nel 2003, 57
  nel 2006

8
literacy
lingua madre
2000 e 2009
matematica
scienze
2006
2003
9
Paesi che hanno partecipato a PISA nel 2006
10
PISA Quale scienza per quale società?

• Che cosa è importante che un cittadino conosca,
  a che cosa è importante che dia valore e che cosa
  è importante che sia in grado di fare, in
  situazioni che richiedono il ricorso alla scienza
  e alla tecnologia o che sono in qualche modo da
  esse determinate?
• Le competenze che costituiscono il nucleo
  centrale della definizione di literacy
  scientifica di PISA 2006 sono fondamentali per
  rispondere a questa domanda. Esse si riferiscono
  a quanto gli studenti sappiano
• individuare questioni di carattere scientifico
• dare una spiegazione scientifica dei fenomeni
• usare prove fondate su dati scientifici 
•  

11
Come PISA 2006 definisce e valuta le competenze
scientifiche
12
Risultati in scienze (medie) in PISA 2006
13
Risultati in scienze (livelli) in PISA 2006
14
Risultati medi su tutte le scale di scienze
Italia Italia Italia OCSE OCSE OCSE
Scale Punt. medio D. S. Diff.. M-F Punt. medio D. S. Diff.. M-F
Individuare questioni di carattere scientifico 474 99 -17 499 95 -17
Dare una spiegazione scientifica dei fenomeni 480 100 15 500 98 15
Usare prove basate su dati scientifici 467 111 -2 499 108 -2
Conoscenza sulla scienza 472 99 -8 500 97 -8
Sistemi della Terra e dellUniverso 474 113 15 500 104 17
Sistemi Viventi 488 99 3 502 100 4
Sistemi Chimici e Fisici 472 99 25 500 99 26
Scala complessiva 475 96 3 500 95 2
Source OECD PISA database 2006. Le differenze tra punteggio dei maschi e punteggio delle femmine poste in grassetto sono significative.
15
Risultati Italiani in Scienze TIMMS 2007 e PISA
2006
TIMSS 2007 Quarto anno TIMSS 2007 Quarto anno TIMSS 2007 Ottavo anno TIMSS 2007 Ottavo anno Pisa 2006 Quindici anni Pisa 2006 Quindici anni
  Media Err. St. Media Err.St. Media Err.St.
Nord-Ovest 541 4.9 509 4.5 501 4.1
Nord Est 556 5.4 527 7.1 520 2.8
Centro 536 5.8 506 3.7 486 8.0
Sud 532 8.8 477 6.1 448 3.7
Sud e Isole 507 8.7 462 8.0 432 4.6
Italia 535 3.2 495 2.8 475 2.0
Media Int. o Media OCSE 500 500 500
Nazione migliore 587 4.1 567 4.4 563 2.0
Nazione migliore Singapore Singapore Singapore Singapore Finlandia Finlandia
16
Risultati nella scala complessiva di scienze per
tipo di scuola
17
Media e dispersione dei risultati al Sud rispetto
ai risultati nazionali e internazionali
Area geografica Tipo di scuola Area geografica Tipo di scuola Tutti gli studenti Tutti gli studenti Tutti gli studenti Tutti gli studenti
Area geografica Tipo di scuola Area geografica Tipo di scuola Punteggio medio Punteggio medio Deviazione Standard Deviazione Standard
Area geografica Tipo di scuola Area geografica Tipo di scuola Media E.S. D.S. E.S.
Sud Licei 485 (6,6) 77 (2,8)
Sud Istituti Tecnici 442 (5,0) 73 (2,2)
Sud Istituti Professionali 387 (5,4) 69 (2,5)
Sud Scuole Medie 343 (11,0) 74 (13,0)
Sud Formazione Professionale -   -  
Sud Totale 448 (3,7) 84 (1,9)
Italia Licei 518 (3,2) 85 (2,0)
Italia Istituti Tecnici 475 (2,9) 83 (1,4)
Italia Istituti Professionali 414 (4,3) 82 (2,2)
Italia Scuole Medie 340 (16,3) 93 (15,0)
Italia Formazione Professionale 405 (11,8) 80 (4,7)
Italia Totale 475 (2,0) 96 (1,3)
Totale OCSE Totale OCSE 491 (1,2) 104 (0,6)
Media OCSE Media OCSE 500 (0,5) 95 (0,3)
Fonte base dati OCSE PISA2006 / INVALSI
18
Un esempio PIOGGE ACIDE

• La fotografia qui sotto mostra alcune statue
  dette Cariatidi, erette sullAcropoli di Atene
  più di 2500 anni fa. Queste statue sono fatte di
  un tipo di roccia che si chiama marmo. Il marmo è
  composto di carbonato di calcio.

• Nel 1980, le statue originali, che erano state
  corrose dalle piogge acide, sono state trasferite
  allinterno del museo dellAcropoli e sostituite
  da copie.
• Leffetto delle piogge acide sul marmo può essere
  simulato immergendo scaglie di marmo nellaceto
  per una notte. Laceto e le piogge acide hanno
  più o meno lo stesso livello di acidità. Quando
  si immerge una scaglia di marmo nellaceto, si
  formano bolle di gas. Si può determinare la massa
  della scaglia di marmo asciutta, prima e dopo
  lesperimento.

Nei test PISA ogni prova è introdotta da un testo
stimolo, che contestualizza le domande che
seguono e che fornisce gran parte delle
informazioni necessarie
19
Le domande possono essere a scelta multipla

• Domanda  3 PIOGGE ACIDE (competenza Dare una
  spiegazione scientifica dei fenomeni)
• Una scaglia di marmo ha una massa di 2,0 grammi
  prima di essere immersa per una notte nellaceto.
  Il giorno dopo, la scaglia viene tolta dallaceto
  e asciugata. Quale sarà la massa della scaglia di
  marmo asciutta?
• Meno di 2,0 grammi.
• Esattamente 2,0 grammi.
• Tra 2,0 e 2,4 grammi.
• Più di 2,4 grammi.
• Domanda  5 PIOGGE ACIDE(competenza Individuare
  questioni di carattere scientifico)
• Gli studenti che hanno fatto questo esperimento
  hanno immerso per una notte scaglie di marmo
  anche in acqua pura (distillata).
• Spiega perché gli studenti hanno inserito anche
  questa fase nel loro esperimento.
• __________________________________________________
  _________
• __________________________________________________
  _________
• __________________________________________________
  _________

Le domande possono anche essere aperte
20
Come rispondono gli studenti
Paesi Piogge Acide Dom. 5 Difficoltà 529 Livello 3 Piogge Acide Dom. 5 Difficoltà 529 Livello 3 Piogge Acide Dom. 5 Difficoltà 717 Livello 6 Piogge Acide Dom. 5 Difficoltà 717 Livello 6 Piogge Acide Dom. 5 Piogge Acide Dom. 5
punteggio parziale E. S. punteggio pieno E. S. Omesse E. S.
Italia 32,7 0,9 16,2 0,9 29,2 1,2
Finlandia 60,1 1,4 8,2 0,8 10,4 0,9
Giappone 32,3 1,3 19,3 1,2 29,8 1,3
Media OCSE 43,0 0,2 14,0 0,2 17,3 0,2
21
Il problema delle omissioni
22
Un altro esempio MARY MONTAGU

• Leggi il seguente articolo di giornale e rispondi
  alle domande che seguono.
• LA STORIA DELLA VACCINAZIONE
• Mary Montagu era una donna molto bella. Nel 1715,
  sopravvisse ad unepidemia di vaiolo ma rimase
  piena di cicatrici. Durante un soggiorno in
  Turchia nel 1717, osservò un metodo che lì veniva
  praticato abitualmente detto inoculazione. Tale
  trattamento prevedeva che una forma attenuata del
  virus del vaiolo fosse trasmessa graffiando la
  pelle di persone giovani e sane che così si
  ammalavano ma che, nella maggior parte dei casi,
  sviluppavano la malattia solo in forma lieve.
• Mary Montagu fu così convinta che queste
  inoculazioni non fossero pericolose, da
  permettere che suo figlio e sua figlia fossero
  inoculati.
• Nel 1796, Edward Jenner si servì di inoculazioni
  di una malattia della stessa famiglia, il vaiolo
  vaccino, per stimolare la produzione di anticorpi
  contro il vaiolo. In confronto allinoculazione
  del vaiolo, questo trattamento aveva meno effetti
  collaterali e la persona trattata non poteva
  infettarne altre. Il trattamento divenne noto
  sotto il nome di vaccinazione.

23

• Domanda 2 MARY MONTAGU
• Contro quale tipo di malattie ci si può far
  vaccinare?
• Le malattie ereditarie, come lemofilia.
• Le malattie provocate dai virus, come la
  poliomielite.
• Le malattie dovute ad una disfunzione del corpo,
  come il diabete.
• Tutte le malattie per le quali non esiste una
  cura.

24

• Domanda 3 MARY MONTAGU
• Se animali o esseri umani si ammalano per
  uninfezione batterica e poi guariscono, di
  solito non si ammaleranno più a causa di quel
  tipo di batteri.
• Per quale motivo?
• Il corpo ha ucciso tutti i batteri che possono
  provocare lo stesso genere di malattia.
• Il corpo ha prodotto anticorpi che uccidono quel
  tipo di batteri prima che si moltiplichino.
• I globuli rossi uccidono tutti i batteri che
  possono provocare lo stesso genere di malattia.
• I globuli rossi catturano tutti i batteri di quel
  tipo e li eliminano dal corpo.
• Domanda 4 MARY MONTAGU
• Fornisci un motivo per cui si raccomanda in
  particolare ai bambini ed alle persone anziane di
  vaccinarsi contro linfluenza.
• .......
  .......
• ..................................................
  ..................................................
  .............
• .
  .

25
Come rispondono gli studenti
Paesi MARY MONTAGU Dom. 2 Difficoltà 436 Livello 2 MARY MONTAGU Dom. 2 Difficoltà 436 Livello 2 MARY MONTAGU Dom. 3 Difficoltà 431 Livello 2 MARY MONTAGU Dom. 3 Difficoltà 431 Livello 2 MARY MONTAGU Dom. 4 Difficoltà 507 Livello 3 MARY MONTAGU Dom. 4 Difficoltà 507 Livello 3
corrette E. S. corrette E. S. corrette E. S.
Finlandia 85.3 1.1 84.4 0.9 79.2 1.2
Francia 76.5 1.4 84.1 1.0 51.6 1.6
Grecia 69.8 1.4 78.8 1.2 52.5 1.5
Italia 79.4 0.8 81.3 0.8 54.0 1.0
Media OCSE 74.9 0.2 75.1 0.2 61.7 0.2
26
Un esempio di prova che non è stata usata
ENERGIA EOLICA

• Lenergia eolica è da molti considerata una fonte
  di energia in grado di sostituire le centrali
  termiche a petrolio o a carbone. I dispositivi
  nella foto sono rotori dotati di pale che il
  vento fa ruotare. Queste rotazioni permettono ai
  generatori messi in moto dalle pale di produrre
  energia elettrica.

27
Competenza usare prove basate su dati
scientifici
I seguenti grafici riportano la velocità media
del vento in quattro diversi luoghi nel corso di
un anno. Quale dei grafici indica il luogo più
adatto allinstallazione di un generatore ad
energia eolica?
Nella prova sul campo la domanda si è dimostrata
molto facile, con circa il 75 delle risposte
corrette a livello internazionale, e una
discriminatività molto buona.. In Italia ha
risposto correttamente circa il 73 ma si è avuto
il 13 di omissioni.
28
Competenza usare prove basate su dati scientifici

• Più il vento è forte, più le pale del rotore
  girano veloci e maggiore è la quantità di energia
  elettrica prodotta. Tuttavia, in situazione
  reale, non esiste una relazione di
  proporzionalità diretta fra la velocità del vento
  e lelettricità prodotta. Qui sotto vengono
  descritte quattro condizioni di funzionamento di
  una centrale eolica in situazione reale
• Le pale cominciano a ruotare quando il vento
  raggiunge la velocità V1.
• Per ragioni di sicurezza, la rotazione delle pale
  non accelera più quando la velocità del vento è
  superiore a V2.
• La potenza elettrica è al massimo (W) quando il
  vento raggiunge la velocità V2.
• Le pale smettono di ruotare quando il vento
  raggiunge la velocità V3.

Quale fra i seguenti grafici rappresenta meglio
la relazione fra velocità del vento e potenza
elettrica nelle condizioni di funzionamento
descritte?
In Italia litem è risultato significativamente
più difficile che a livello internazionale, con
solo il 32 di risposte corrette e quasi il 26
di studenti che ha scelto il distrattore C.
29
Competenza Dare una spiegazione scientifica dei
fenomeni

• Descrivi un vantaggio specifico ed uno specifico
  svantaggio della produzione di energia da parte
  dei generatori ad energia eolica, rispetto alla
  produzione di energia a partire dai combustibili
  fossili come il carbone e il petrolio.
• Un vantaggio .
• Uno svantaggio

La domanda, anche per la varietà delle risposte
accettate, è risultata piuttosto facile, anche se
con una discriminatività molto buona. In Italia
ha raggiunto il punteggio pieno il 46 degli
studenti, mentre circa il 23 ha ottenuto un
punteggio parziale, un 23 non ha nemmeno
provato a rispondere
30
Cosa influenza i risultati italiani in Scienze?
TIMSS 2003 Quarto anno TIMSS 2003 Quarto anno TIMSS 2003 Quarto anno TIMSS 2003 Quarto anno TIMSS 2003 Ottavo anno TIMSS 2003 Ottavo anno TIMSS 2003 Ottavo anno TIMSS 2003 Ottavo anno Pisa 2003 Quindici anni Pisa 2003 Quindici anni Pisa 2003 Quindici anni Pisa 2003 Quindici anni
Numero di libri a casa? IT Media IT Int. Media Int IT Media IT Int. Media Int. IT Media IT OCSE Media OCSE
0-10 18 498 18 453 13 457 18 438 9 416 12 419
11-25 33 511 24 430 29 474 26 458 17 449 16 449
25-100 27 525 31 502 25 497 27 483 32 482 30 494
101-200 11 531 14 507 14 502 13 498 20 506 18 524
201-500 10 525 12 518 19 524 15 506 13 536 14 558
di 500 8 544 8 565
Questa categoria è usata solo da PISA, il TIMSS
si arresta alla categoria precedente espressa
come di 200.
31
Cosa influenza i risultati italiani in Scienze?
Limmagine diffusa della scienza. Eurobarometro
La scienza e la tecnologia possono risolvere
qualunque problema. di chi si dichiara in
forte disaccordo
32
Cosa influenza i risultati italiani in Scienze?
Uso del libro di testo da parte degli insegnanti
di scienze ( di studenti)
In 4 elementare In 4 elementare In 3 media In 3 media
Italia Internazionale Italia Internazionale
Mai 7 18 1 5
Come base principale per la lezione 32 56 63 56
Come risorsa aggiuntiva 61 26 36 39
33
Unanalisi dei libri di testo italiani svolta nel
2000, da Zadigroma su incarico del MIUR, mostra
come per la maggioranza dei libri di testo
utilizzati lapproccio sia ancorato alla
didattica disciplinare e non integrato neanche
quando i programmi lo propongono Lanalisi
dellimmagine della scienza emergente dai libri,
sia delle elementari sia delle medie, mostra
unimmagine tendenzialmente statica, in cui si
afferma unidea di scienza in grado di spiegare
tutto, di dare sempre soluzioni e che non muta
nel tempo, in cui non emerge in modo
significativo che la conoscenza scientifica è
costituita da teorie corroborate da prove di
fatto, né lidea di indagine e ricerca. Le prove
sperimentali sono proposte spesso come verifica
di enunciati e il risultato viene talvolta
anticipato come sicuro e inconfutabile la
scienza spiega tutto, non predice.
34
Cosa influenza i risultati italiani in Scienze?
Percentuali di studenti e di insegnanti che
dichiarano di svolgere le attività proposte
minimo una volta al mese (TIMSS)
Attività svolte in classe una o volte al mese 4 elementare ITALIA 2007 4 elementare ITALIA 2007 4 elementare Intern. 2007 4 elementare Intern. 2007 3 media ITALIA 2007 3 media ITALIA 2007 8 anno Intern. 2007 8 anno Intern. 2007
STU INS STU INS STU INS STU INS
Guardare linsegnante che svolge un esperimento 69 23 67 25 22 8 67 41
Progettare un esperimento o una ricerca 45 25 47 23 12 8 50 27
Fare un esperimento o una ricerca 47 31 49 32 11 9 54 47
Lavorare con altri studenti in piccoli gruppi per una ricerca o un esperimento a scuola 41 22 56 36 10 9 56 50
Scrivere spiegazioni rispetto a qualcosa che si è studiato o osservato 72 91 69 69 78 89 65 71
Collegare quello che si sta apprendendo in scienze con la vita quotidiana degli studenti 72 74 32 69 57 79
35
Cosa influenza i risultati italiani in
Scienze?Che tipo di laboratorio viene proposto e
in quali scuole?
Lindice di insegnamento/apprendimento SCHANDS
Item ITA (E.S.) ESP (E.S.) FIN (E.S.) FRA (E.S.) GBR (E.S.) NLD (E.S.)
Gli studenti conducono esperimenti pratici in laboratorio (ST34Q02) 17.3 8.4 22.2 23.2 26.7 29.9
Gli studenti conducono esperimenti pratici in laboratorio (ST34Q02) (0.698) (0.452) (0.939) (0.803) (1.074) (1.047)
Agli studenti è richiesto di progettare attività di laboratorio per rispondere a domande riguardanti materie scientifiche (ST34Q03) 15.6 13.7 9.7 23.1 35.7 25.6
Agli studenti è richiesto di progettare attività di laboratorio per rispondere a domande riguardanti materie scientifiche (ST34Q03) (0.558) (0.601) (0.465) (0.843) (0.776) (0.835)
Agli studenti è richiesto di trarre conclusioni da un esperimento condotto da loro stessi (ST34Q06) 36.0 48.0 54.6 68.3 67.0 51.1
Agli studenti è richiesto di trarre conclusioni da un esperimento condotto da loro stessi (ST34Q06) (0.962) (0.825) (0.920) (0.958) (0.891) (0.843)
Gli studenti fanno esperimenti seguendo le istruzioni dellinsegnante (ST34Q14) 32.7 32.1 51.1 61.8 62.0 31.9
Gli studenti fanno esperimenti seguendo le istruzioni dellinsegnante (ST34Q14) (0.752) (0.879) (0.972) (0.979) (0.999) (0.941)
Gli esperimenti vengono condotti dallinsegnante a scopo dimostrativo (ST34Q10) 27.8 19.9 23.9 40.0 49.2 25.1
Gli esperimenti vengono condotti dallinsegnante a scopo dimostrativo (ST34Q10) (0.628) (0.751) (0.829) (0.881) (0.864) (0.872)
36
Come influisce lindice SCHANDS?
Modello di regressione Modello di regressione Modello di regressione
Paese INTERCETTA SCHANDS
Spagna (R2 .11) 487,1 3,0
Finlandia(R2 .13) 555,4 19,5
Francia (R2 .21) 483,8 45,1
Regno Unito (R2 .07) 508,3 15,9
Italia (R2 .14) 478,9 4,9
Paesi Bassi (R2 .15) 527,5 8,8
Paese Media SCHANDS E.S.
Italia -0.41 0.028
Spagna -0.30 0.026
Finlandia 0.02 0.018
Francia 0.28 0.020
Regno Unito 0.45 0.017
Paesi Bassi 0.08 0.019
Elaborazione da dati OCSE Non statisticamente
significativo per pgt0,05
37
Cosa influenza i risultati italiani in Scienze?
Relazione tra di studenti ai livelli più alti
nella scala PISA scienze e numero di ricercatori
per ogni mille persone impiegate
38
(No Transcript)
39
Cosa influenza i risultati italiani in Scienze?

• La mancata accettazione nel senso comune della
  Scienza come cultura
• Lo scarso investimento pubblico e privato nella
  ricerca scientifica e tecnologica
• La mancanza di relazione tra scuola e mercato
  del lavoro soprattutto nel Sud
• Una società a rischio di analfabetismo di
  ritorno, che non legge e non argomenta ciò che
  sostiene
• La scarsa presenza delle scienze sperimentali nei
  curricoli della scuola secondaria italiana sia in
  termini di status sia in termini di ore (nella
  scuola media siamo il paese con meno ore e tra
  quelli con più contenuti, dati TIMSS)
• Una visione ancora nozionistica delle scienze,
  con poco tempo dedicato a momenti di indagine
  autonoma e ancora meno a riflessioni sui limiti
  del procedere scientifico e sulla sua
  utilizzazione per comprendere la tecnologia e i
  problemi di ogni giorno (in Italia luso quasi
  esclusivo del libro di testo come fonte di
  apprendimento, aumenta allaumentare del livello
  scolare, a differenza degli altri paesi)
• Unorganizzazione delle cattedre e dei curricoli
  che esalta un approccio quasi solo teorico e
  separa spesso la teoria dalla pratica di
  laboratorio
• Una separazione tradizionale tra le discipline
  scientifiche e la realtà
• Manca la ricerca didattica e quando cè non viene
  valorizzata
• Manca la collaborazione tra Scuole, Istituti di
  Ricerca, Musei scientifici, Imprese
• ..

40

• Al mondo esistono macchine banali, quelle
  costruite dalluomo e di cui si possono prevedere
  le risposte, e imprevedibili macchine non banali
  tutti gli esseri viventi.

• Sembra che lo scopo della scuola sia trasformare
  imprevedibili macchine non banali in macchine
  banali (Von Foerster)