Education compar

1
5 Les enquêtes internationales

• 1 Origines des études internationales
• 2 La notion dindicateur
• 3 Fonctionnement, rendement et performance
• des systèmes éducatifs
• 4 Le design des recherches PISA
• Savoir lire qq cest ?
• Quelques résultats de PISA
• 7 Forces et faiblesses des études internationales

2
5 Les enquêtes internationales

• gt dès la fin des années 50 1ères études
  comparatives multinationales apparaissent dans
  le champ de léducation
• rendues possibles par le développement de
  l'informatique
• le monde comme un grand laboratoire
• gt apparaissent d'abord des études de rendement
  économique des systèmes de formation, conduites
  par la Banque mondiale ou lOCDE
• (Organisation pour la Coopération au
  Développement économique)
• gt puis des études comparées du rendement
  scolaire introduites par lIEA
• (Association internationale pour
  l'évaluation du rendement scolaire)

3
5 Les enquêtes internationales
Fonctionnent par comparaison d'indicateurs Défi
nition Les indicateurs sont des variables
calculables qui doivent gt fournir des
informations sur le fonctionnement ou les
prestations d'un système (évtl. en tenant
compte du contexte dans lequel il s'insère) gt
être compréhensibles et autant que possible
reproduisibles par tous gt permettre de prendre
des décisions "politiques"
4
5 Les enquêtes internationales
Quelques exemples d'indicateurs de fonctionnement
des systèmes éducatifs gt part du budget de
l'Etat consacrée à l'éducation gt dépenses
annuelles par élève (évtl découpées en
salaires professeurs, équipement, etc...) gt
pourcentage d'enfants scolarisés à X ans gt
distribution des élèves par sections, filières ou
types d'école à âge donné gt âge moyen des
enfants terminant la scolarité obligatoire gt
rapport du nombre de professeurs au nombre
d'élèves (évtl. par secteur, degré,
etc....), taille des classes gt taux de
redoublement gt ...
5
5 Les enquêtes internationales
Les indicateurs de performance (ouput) ou de
rendement (outcome) des systèmes éducatifs

• Établissent la qualité des systèmes éducatifs en
  se basant sur la comparaison
• des taux de réussite ou déchec des élèves
  (output)
• du nombre de diplômes délivrés (output)
• sur la performance des élèves à des épreuves ou
  des tests adhoc (ensemble de tâches) (output)
• ou
• statut dactivité en fonction des niveaux de
  formation (outcome)
• perméabilité sociale (comparaison niveau de
  formation des jeunes et de leurs parents)
  (outcome)

6
5 Les enquêtes internationales

• Etudes internationales de rendement scolaire
• Problèmes liés à l'échantillonnage
• gt âge, degré scolaire ou années d'enseignement ?
• gt système publique ou tous systèmes ?
• gt période de l'année scolaire ?
• gt volontariat et participation (temps et argent)
• Problèmes liés à la nature des compétences
  mesurées
• Les études de lIEA (cf TIMSS, 1995 ou Reading
  literacy, 1991) visent les compétences acquises
  par lenseignement
• PISA vise quant à elle le bagage de savoirs et
  de savoirs faire des élèves dun âge donné dans
  des domaines et compétences dont ils auront
  besoin pour faire face aux situations quils
  rencontreront plus tard dans leur vie dadulte

7
5 Les enquêtes internationales

• Les 8 critères de qualité des indicateurs de
  performance
• 1 Le rapport des tâches aux programmes et aux
  objectifs d'enseignement
• doit pouvoir être établi clairement
• 2 Les tâches doivent être accessibles de la même
  manière pour tous les
• élèves
• 3 Les limites à la généralisabilité des
  résultats doivent être connues
• 4 Le niveau de sollicitation cognitive des
  tâches doit être connu
• 5 Les tâches doivent renvoyer à des contenus
  pertinents dans les matières
• étudiées
• 6 Les tâches doivent couvrir largement la
  branche testée
• 7 Les tâches doivent être intéressantes,
  significatives et riches pour les
• sujets

8
5 Les enquêtes internationales
Calendrier de la 4ème enquête (2009) Janvier
2005 - Décembre 2006 Préparation des scénarii au
niveau international et au niveau national.
Préparation des options nationales Janvier -
Novembre 2007 Participation aux développements
internationaux. Préparation des
échantillons Novembre 2007 - Mars 2008 Tirage des
écoles et des élèves Préparation du matériel
de test Février - Juin 2008 Organisation et
réalisation de la PRE - ENQUETE Août - Novembre
2008 Choix des unités pour enquête
principale Préparation des analyses et de la
diffusion Novembre 2008 - Mars 2009 Tirage des
écoles et des élèves Préparation du matériel
de test Février - Juillet 2009 Organisation et
réalisation de l'ENQUETE Août 2009 - Mars
2010 Validations et pondérations des
données Avril - Décembre 2010 Diffusion Analyses
et rapport national (élèves de 15 ans) Janvier -
Décembre 2011 Diffusion Analyses et diffusion
des résultats (élèves de 9e année). Données à
disposition des cantons
9
5 Les enquêtes internationales
Et par rapport aux écoles et aux élèves 1e
étape Octobre 2008 Les écoles sélectionnées
reçoivent une information détaillée sur le
programme PISA et le déroulement de
l'enquête. 2e étape Novembre 2008 Chaque école
désigne un coordinateur qui aide le
responsable régional (ou cantonal suivant le
cas) à établir une liste actualisée des élèves
incluant un certain nombre d'informations.
Cette liste est utilisée pour le tirage des
élèves. 3e étape Dès Décembre 2008 Le
responsable régional ou cantonal prend contact
avec le coordinateur scolaire pour planifier
les détails de l'enquête. 4e étape Mars
2009 Les élèves choisis et les enseignants
concernés sont informés. 5e étape Avril - Mai
2009 Le jour dit, un administrateur de test se
rend à l'école et procède à l'enquête, avec
l'aide du coordinateur scolaire, auprès des
élèves sélectionnés. Il faut environ trois heures
et demi aux élèves pour répondre au test et au
questionnaire. Parallèlement, la direction de
l'école remplit un questionnaire sur
l'établissement.
10
5 Les enquêtes internationales
Le schéma des études PISA Plusieurs domaines
sont testés à un âge donné à intervalles réguliers
Questionnaires Ecoles
11
5 Les enquêtes internationales
Définition des domaines testés dans PISA La
culture mathématique est laptitude dun individu
à identifier et à comprendre les divers rôles
joués par les mathématiques dans le monde, à
porter des jugements fondés à leur propos et à
sengager dans des activités mathématiques en
fonction des exigences de sa vie en tant que
citoyen constructif, impliqué et
réfléchi. Comprendre lécrit cest non seulement
comprendre et utiliser des textes écrits, mais
aussi réfléchir à leur propos. Cette capacité
devrait permettre à chacun(e) de réaliser ses
objectifs, de développer ses connaissances et son
potentiel et de prendre une part active dans la
société. La culture scientifique cest la
capacité dutiliser des connaissances
scientifiques pour identifier les questions
auxquelles la science peut apporter une réponse
et pour tirer des conclusions fondées sur des
faits, en vue de comprendre le monde naturel ()
et de prendre des décisions à leur propos.
12
5 Les enquêtes internationales
Catégories dindicateurs recueillis dans les
études PISA Les indicateurs de base profil
général des compétences et connaissances des
élèves dans les domaines considérés Les
indicateurs contextuels à quelles variables
démographiques, sociales, économiques et
éducatives ces compétences sont-elles liées Les
indicateurs de série temporelle rendus
possibles par le recueil cyclique de données dans
un même domaine.
13
5 Les enquêtes internationales
14
5 Les enquêtes internationales

• Clés danalyse
• Globalement ou par sous-compétence (processus de
  lecture)
• Par type de texte (narratif, argumentatif,
  explicatifs, tableaux, schémas, graphiques,
  diagrammes, cartes)
• Par structure de texte (continu, non continu)
• Par type de questions (ouverte, fermée, QCM, )
• Par item (taux de réponses justes, fausses,
  absentes)
• Par niveaux (0 - 5)
• Par points (scores)

15
5 Les enquêtes internationales
16
5 Les enquêtes internationales
17
5 Les enquêtes internationales
18
5 Les enquêtes internationales
Détermination des niveaux pour une compétence
donnée Retrouver de l'information
Niveau 1 Localiser une ou plusieurs
informations distinctes explicitement mentionnées
dans le texte en n'appliquant qu'un seul
critère. Niveau 2 Localiser un ou plusieurs
éléments d'information, dont chacun peut devoir
répondre à plusieurs critères. Traiter des
informations contradictoires. Niveau 3
Localiser des fragments d'information et, dans
certains cas, reconnaître la relation entre ces
fragments, dont chacun peut devoir répondre à
plusieurs critères. Traiter des informations
contradictoires mises en évidence.
19
5 Les enquêtes internationales
Détermination des niveaux pour une compétence
donnée Retrouver de l'information
Niveau 4 Localiser et éventuellement ordonner
ou combiner de multiples fragments d'information
dissimulés dans le texte, dont chacun peut devoir
répondre à plusieurs critères, et ce dans un
texte dont le contexte ou la forme ne sont pas
familiers. En extraire les informations
pertinentes pour la tâche à accomplir. Niveau 5
Localiser et éventuellement ordonner ou combiner
de multiples fragments d'information parfaitement
dissimulés dans le texte, dont certains peuvent
se situer à l'extérieur du corps du texte. En
extraire les informations pertinentes pour la
tâche à accomplir. Traiter des informations
contradictoires fort plausibles et/ou très
fouillées.
20
5 Les enquêtes internationales
Détermination des niveaux pour une compétence
donnée Interpréter le texte
Niveau 1 Identifier le thème principal ou
l'intention de l'auteur dans un texte sur un
sujet familier lorsque l'information requise est
mise en évidence dans le texte. Niveau
2 Identifier l'idée maîtresse d'un texte,
comprendre des relations, constituer ou appliquer
des catégories élémentaires, ou dégager du sens
d'une partie limitée du texte lorsque
l'information n'est pas mise en évidence et qu'il
est fait appel à des inférences de bas
niveau. Niveau 3 Intégrer plusieurs parties d'un
texte pour en identifier l'idée maîtresse,
comprendre une relation ou inférer le sens d'un
mot ou d'une phrase. Comparer, contraster ou
classer par catégories en tenant compte de
nombreux critères. Traiter des informations
contradictoires.
21
5 Les enquêtes internationales
Détermination des niveaux pour une compétence
donnée Interpréter le texte
Niveau 4 Utiliser une inférence textuelle de haut
niveau pour appréhender le texte et appliquer des
catégories à un contexte peu familier. Dégager le
sens d'une section du texte, tout en considérant
le texte dans son ensemble. Traiter des
ambiguïtés, des notions inattendues et des idées
formulées sous leur forme négative. Niveau
5 Soit dégager le sens d'un langage nuancé, soit
faire preuve d'une compréhension exhaustive et
approfondie du texte.
22
5 Les enquêtes internationales
Analyse comparative des facteurs de réussite liés
au matériel de l'enquête (régions et
cantons) Extrait du rapport thématique de
l'enquête PISA 2000 Les compétences en littératie
23
5 Les enquêtes internationales
Répartition des élèves
24
5 Les enquêtes internationales
Répartition dans les niveaux de compétences
25
5 Les enquêtes internationales
Résultats généraux dans les quatre "pays"
26
5 Les enquêtes internationales
Scores en fonction de la langue parlée à la maison
27
5 Les enquêtes internationales
Quelques résultats des effets de contexte (école
- famille) mis en avant par lOCDE
28
5 Les enquêtes internationales
Quelques résultats des effets de contexte (école
- famille)
29
5 Les enquêtes internationales
Quelques résultats des premières séries
temporelles
30
5 Les enquêtes internationales
Laprès PISA en Suisse Synthèse et
recommandations du groupe de pilotage PISA 1
Usage plus intensif, plus précoce et plus
exigeant de la langue officielle 2 Extension
des programmes scolaires et mesures de promotion
spécifiques aux sexes 3 Aide plus
soutenue là où la proportion dallophones est
grande 4 Généralisation de lécole enfantine 5
Mise en place de structures daccompagnement
scolaires 6 Instauration dorganes de direction
dans les écoles 7 Examen périodique des
objectifs de performance (standards de
formation) 8 Transition facilitée vers le monde
du travail 9 Procédures de sélection plus
équitables 10 Développement de la formation des
enseignants et de la recherche en éducation
31
5 Les enquêtes internationales
Mesures consécutives à PISA 2000 Plan daction
décidé par la Conférence suisse des directeurs
cantonaux de linstruction publique (CDIP) Champ
daction 1 Encouragement de la lecture pour
tous Champ daction 2 Encouragement des
compétences linguistiques chez les
jeunes connaissant des
conditions dapprentissage
défavorables Champ daction 3
Education préscolaire et scolarisation Champ
daction 4 Organe de direction, promotion de la
qualité de lécole Champ daction 5 Offre
dencadrement extrascolaire
32
5 Les enquêtes internationales
Forces et faiblesses des études
internationales de rendement des systèmes
scolaires Forces gt attribution des
investissements et des subventionnements gt
sources d'information pour étudier l'effet de
variables globales gt information en cas
d'immigration gt pilotage des systèmes -
comparaisons internationales -
comparaisons intranationales - entre
matières - entre objectifs,
programmes et résultats gt mobilisatrices de
potentiel de recherche (débouchés)
33
5 Les enquêtes internationales
Forces et faiblesses des études
internationales de rendement des systèmes
scolaires Faiblesses gt font mal apparaître les
causes gt problèmes de généralisabilité -
par matière - par groupes d'âge gt
problèmes du choix et de la nature des
indicateurs gt risque daspiration des fonds
consacrés à la recherche