Reconnaissance des codes postaux

1
Reconnaissance des codes postaux
Réseaux de neurones

• Handwritten Digit Recognition with a back
  propagation Network Yann LE CUN

2
Pré-traitement

• acquisition et numérisation
• localisation du code postal
• segmentation
• Normalisation

3
Caractéristiques du réseau

• Perceptron Multi-Couches

4
Caractéristiques du réseau

• Connexion locale

• 10 connexions locales au lieu de 20 en
  interconnexion totale

5
Caractéristiques du réseau

• Poids partagés

• 5 poids à apprendre au lieu de 10 en
  connexions locales et 20 en interconnexion
  totale

6
Description des couches

• Couche dentrée
• image 28x28
• 784 neurones
• Couche 1
• Détection de 4 caractéristiques différentes par
  des filtrages avec des masques 5x5(28x28 ?
  24x24)
• 4x24x24 2304 neurones
• 4x(5x5 1) 104 paramètres à apprendre

7
Description des couches
8
Description des couches

• Couche 2
• division de la taille de limage de moitié(24x24
  ? 12x12)
• 4x(12x12) 576 neurones
• 4x(11) 8 paramètres à apprendre

9
Description des couches

• Couche 3
• combinaison des caractéristiques extraites dans
  la couche 1, par des filtrages avec des masques
  5x5(12x12 ? 8x8)
• 12x8x8 768 neurones
• 25x20 paramètres à apprendre pour les pixels des
  images (20 liens entre aires) et12 biais (pour
  les 12 aires de la couche 3)? 512 paramètres à
  apprendre.

10
Description des couches

• Couche 4
• division de la taille de limage de moitié(8x8 ?
  4x4)
• 12x(4x4) 192 neurones
• 12x(11) 24 paramètres à apprendre
• Couche de sortie
• décision
• 10 neurones
• interconnexion totale 10x(12x(4x4)1) 1930
  paramètres à apprendre

11
Bilan de larchitecture
12
Bilan de larchitecture

• 4635 neurones
• 98 442 connexions
• 2578 paramètres à apprendre
• au lieu de 98 442 sans les poids partagés
• et de lordre de 1015 en interconnexion totale

13
Apprentissage

• Rétro-propagation
• propagation de lentrée vers la sortie
• comparaison de la sortie calculée à la sortie
  désirée
• rétro-propagation de la couche de sortie à la
  couche dentrée, avec modification des poids.
• Recommandations
• disposer dune base importante dexemples,
• choisir des caractères représentatifs,
• varier lordre de présentation des exemples.

14
Base de données

• Apprentissage 9840 codes postaux (80)
• 7291 manuscrits
• 2549 dactylographiés
• Test 2707 codes postaux (20)
• 2007 manuscrits
• 700 dactylographiés
• Exemple

15
Résultats

• Après 30 passages de la base dapprentissage
• 1.1 des caractères dapprentissage mal reconnus
• 3.4 des caractères de test mal classés
• En fait, critère de classification sur 3
  conditions
• le niveau d'activité du neurone de sortie le plus
  actif doit être supérieur à un seuil donné t1,
• le niveau d'activité du deuxième neurone le plus
  actif doit être inférieur à un seuil donné t2,
• la différence entre les niveaux d'activité de ces
  deux neurones doit être supérieure à un seuil
  donné td.

16
Résultats

• Pour obtenir moins de 1 derreur
• 5.7 de rejet de données(9 si lon ne considère
  que les données manuscrites)
• Motif des erreurs
• mauvaises segmentations (1/2)
• mauvaises classifications au moment de la
  création de la base de test (1/4)
• ambiguïté même pour l'il humain (1/4)

17
Exemples
18
Critiques

• Oublis dans la base de données
• Test darrêt de lapprentissage inconnu
• Structure du réseau peu détaillée
• Comparatifs de résultats
• Peu dillustrations
• dans larticle
• sur le site pour les cas aboutissant à de
  mauvaises classifications

19
Améliorations proposées par lauteur

• Dernier modèle proposé 1998
• 6 couches cachées
• 9118 neurones (4635)
• gt 340 068 connexions (98 442)
• gt 60 000 paramètres à apprendre (2578)

20
Améliorations proposées par lauteur

• Résultats
• diminution du taux derreur
• Après 10 passages de la base dapprentissage
• 0.95 derreur pour la base dapprentissage
• Après 19 passages de la base dapprentissage
• 0.35 derreur pour la base dapprentissage
• Base de test
• 0.8 derreur
• (1.1 après 30 passages pour le modèle présenté)