RECONNAISSANCE DE FORMES

1
RECONNAISSANCE DE FORMES

• IAR-6002

2
Sélection et/ou extraction des caractéristiques

• Introduction
• Critères dévaluation de caractéristiques
• Sélection des caractéristiques
• Extraction des caractéristiques

3
Introduction

• Le but recherché par la sélection et lextraction
  des caractéristiques est de diminuer le plus
  pos-sible le nombre de caractéristiques utilisées
  pour représenter les formes à classifier
• De plus, nous pouvons alors estimer le pouvoir
  discriminant des caractérisques permettant la
  différenciation dobjets de classes distinctes

4
Introduction

• Nous pouvons réduire le nombre de
  caractéris-tiques requises de deux façons
• Une approche consiste à trouver les d
  caractéris-tiques parmi les D possibles qui
  discriminent le mieux les formes à classer

5
Introduction

• Une seconde approche consiste à projeter
  len-semble des caractéristiques originales dans
  un autre espace de caractéristiques de dimension
  inférieure (extraction de caractéristiques)

6
Introduction

• Pour résoudre le problème de sélection ou
  dextraction de caractéristiques nous devons
  spécifier
• Les critères dévaluation des caractéristiques
• La dimension des espaces de caractéristiques
• La procédure de recherche optimale
• Le type de transformation (extraction)

7
Introduction

• Nous utilisons les notations suivantes
• Caractéristiques originales yk, k 1,2,....,D
• y y1,y2,...,yDT
• Chaque observation (objets, formes) y appartient
  à une des m classes possibles Ci, i 1,2,....,m
• Nous savons que loccurrence des vecteurs y est
  modélisée par un processus aléatoire représenté
  par la probabilité conditionnelle p(yCi) et la
  probabilité à priori P(Ci)

8
Introduction

• Nous utilisons les notations suivantes
• Un ensemble ? contient les caractéristiques
  candidates ?j, j1,2,...,d
• Les caractéristiques optimales sont dénotées par
  Xxjj1,...,d et découle du calcul dun
  critère dévaluation J()
• Pour la sélection, nous cherchons
• J(X) max?J(?)
• qui représente les caractéristiques ? qui
  maximise le critère de sélection

9
Introduction

• Nous utilisons les notations suivantes
• Pour lextraction, nous cherchons
• J(A) maxAJ(A)
• où A est un extracteur optimal
• Avec A connu nous pouvons déduire x par
• x A(y)

10
Critères dévaluation de caractéristiques

• Basé sur la probabilité derreur
• Dans un espace de caractéristiques de dimension d
  définit par un ensemble de caractéristiques ?
  ?1,...,?d la probabilité derreur est donnée par

Pdf mixte de ?
Pdf à posteriori
11
Critères dévaluation de caractéristiques

• Basé sur des mesures de distances probabilistes
• Le concept de distance probabiliste fait
  référence à la distance entre 2 pdf et est aussi
  fonction du degré de chevauchement des 2 pdf

• J 0 quand p(?Ci) pour i 1 et 2 se
  chevauchent
• J est maximum quand il ny a pas de chevauchement

12
Critères dévaluation de caractéristiques

• Basé sur des mesures de distances probabilistes
• Les principales distances probabilistes sont
• Bhattacharyya et Patrick-Fisher

13
Critères dévaluation de caractéristiques

• Basé sur des mesures de distances probabilistes
• Les principales distances probabilistes dans
  leurs formes moyenne sont
• Bhattacharyya et Patrick-Fisher

14
Critères dévaluation de caractéristiques

• Basé sur des mesures de distances probabilistes
• Si nous supposons que les pdf conditionnelles
  sont normales alors

15
Critères dévaluation de caractéristiques

• Basé sur des mesures de distances probabilistes
• La distance de Batthacharyya devient

16
Critères dévaluation de caractéristiques

• Basé sur des mesures de distances probabilistes
• La distance de Mahalanobis est donnée par

17
Critères dévaluation de caractéristiques

• Basé sur des mesures de distances probabilistes
• Un critère dévaluation dans le cas multi-classe
  peut être déduit par une moyenne pondérée des
  distances entre 2 classes ij Jij(?) de la forme

18
Critères dévaluation de caractéristiques

• Basé sur des mesures de dépendances
  probabi-listes
• La dépendance des variables aléatoires ? et Ci
  est incorporée dans la pdf conditionnelle
  p(?Ci), pour i1,...,m
• Si ? et Ci sont indépendants alors p(?Ci)
  p(?), ce qui veut dire que la iieme pdf
  conditionnelle est identique à la pdf mixte
• Dans ces circonstances, une observation ? sera
  difficile à classer

19
Critères dévaluation de caractéristiques

• Basé sur des mesures de dépendances
  probabi-listes
• Le degré de dépendance entre les variables ? et
  Ci peut alors être donné par une distance entre
  la pdf conditionnelle p(?Ci) et la pdf mixte
  p(?)
• Mesure de dépendance probabiliste
  (Patrick-Fisher)

20
Critères dévaluation de caractéristiques

• Basé sur des mesures dentropie
• Le degré de dépendance entre les variables ? et
  Ci peut aussi être donné par des mesures
  dentro-pie
• Lentropie mesure le degré dincertitude.
  Lors-que le gain dinformation est faible
  lincertitude est maximale. Si nous avons une
  observation ? et que nous calculons P(Ci ?)
  pour i1,...,m, et que P(Ci ?) est
  équiprobable, lincertitude est dans ce cas
  maximale

21
Critères dévaluation de caractéristiques

• Basé sur des mesures dentropie
• Mesure dentropie (Distance Bayesienne)

22
Critères dévaluation de caractéristiques

• Basé sur des mesures de distances inter-classe
• Si nous avons un ensemble dobservations
  repré-sentatives de chacune de nos classes et que
  nous supposons que les observations associées à
  chaque classe occupe une région distincte dans
  lespace des observations
• La distance moyenne entre les paires
  dobserva-tions dentraînement devient alors une
  mesure de discrimination des classes

23
Critères dévaluation de caractéristiques

• Basé sur des mesures de distances inter-classe
• Une métrique ?(?ik,?jl) permet de mesurer la
  distance entre lobservation k de la iième classe
  et lobservation l de la jième classe
• La distance moyenne
• est donnée par

24
Sélection des caractéristiques

• Basé sur le mérite individuel
• Si nous avons un ensemble de caractéristiques yj
  pour j1,...,D, à partir dun sous-ensemble de
  caractéristiques ? de cardinalité d nous
  cher-chons le vecteur de caractéristiques optimal
  X
• Pour trouver ce vecteur X il faut alors
  considérer D!/(D-d)!d! combinaisons de vecteurs
  de carac-térisques ce qui est excessif

25
Sélection des caractéristiques

• Basé sur le mérite individuel
• Si nous avons m2 (2 classes) avec des pdf
  conditionnelles p(?Ci) distribuées de façon
  normale avec ?1?2 sur la diagonale (les mesures
  sont indépendantes) la distance de Mahalanobis
  sexprime alors par

26
Sélection des caractéristiques

• Basé sur le mérite individuel
• La contribution de chaque mesure pour la
  discri-mination des classes est indépendantes des
  autres mesures
• Nous pouvons alors sélectionner les d meilleures
  caractéristiques en sélectionnant les d
  meilleures mesures individuelles

27
Sélection des caractéristiques

• Basé sur le mérite individuel
• Procédure
• Calculer JM(yj), pour j1,2...,D et les classer
  selon un ordre décroissant
• JM(y1) gt JM(y2) gt .... gt JM(yD)
• Le meilleur vecteur de caractéristiques X
  yjj1,...,d

28
Sélection des caractéristiques

• Basé sur une sélection séquentielle avant SFS et
  arrière SBS
• La méthode SFS est buttom-up. Partant dun
  ensemble vide nous sélectionnons comme pre-mière
  caractéristique celle qui discrimine le mieux nos
  classes
• À chaque itération, nous choisissons une
  caractéristique qui jumelée à celle trouvées aux
  étapes précédentes permet une discrimination
  maximale des classes

29
Sélection des caractéristiques

• Basé sur une sélection séquentielle avant SFS et
  arrière SBS
• Lalgorithme SFS
• Initialisation X0 ?
• Si nous avons sélectionné k caractéristiques de
  lensem-ble des mesures Y yjj1,...,D pour
  produire le vecteur de caractéristiques Xk.
• La (k1)ième caractéristique est alors choisie à
  partir de lensemble des mesures disponibles Y -
  Xk tel que
• J(Xk1) max J(Xk ? yj), yj ? Y -
  Xk.

30
Sélection des caractéristiques

• Basé sur une sélection séquentielle avant SFS et
  arrière SBS
• La méthode SBS est top-down. Partant de
  len-semble des mesures Y nous éliminons alors
  une mesure à la fois
• À chaque itération, nous éliminons une
  caracté-ristique qui diminue peu le critère J().
  Ce qui veut dire que cette caractéristique
  contribue fai-blement à la discrimination des
  classes

31
Sélection des caractéristiques

• Basé sur une sélection séquentielle avant SFS et
  arrière SBS
• Lalgorithme SBS
• Initialisation XD Y
• Si nous avons éliminé k caractéristiques de
  lensemble des mesures Y yjj1,...,D pour
  produire le vecteur de caractéristiques XD-k.
• La (k1)ième caractéristique à éliminer est alors
  choisie à partir de lensemble des mesures
  disponibles XD-k tel que
• J(XD-k-1) max J(XD-k - yj), yj ?
  XD-k.

32
Sélection des caractéristiques

• Basé sur une sélection séquentielle avant SFS et
  arrière SBS
• Lalgorithme SFS est sous optimal
• Aucun mécanisme ne permet déliminer une
  caractéris-tique qui devient superflue après
  linclusion dautres ca-ractéristiques
• De même, lalgorithme SBS est aussi sous optimal
• Aucun mécanisme ne permet de rajouter une
  caractéris-tique éliminer

33
Sélection des caractéristiques

• Basé sur lalgorithme Plus l-Take Away r
• Nous pouvons réduire les problèmes de sous
  optimalité dénoté dans les méthodes SFS et SBS
  par un processus dalternance dajout et de
  retrait de caractéristiques
• Après avoir ajouté l caractéristiques à
  lensemble des caractéristiques courante, r
  caractéristiques sont alors retirée
• La dimension de lensemble des caractéristiques
  change alors de l-r

34
Sélection des caractéristiques

• Basé sur lalgorithme Plus l-Take Away r
• Ce processus continu jusquà ce que la dimen-sion
  requise soit atteinte
• Si l gt r la sélection progresse de façon
  BUTTOM-UP et TOP-DOWN si l lt r

35
Sélection des caractéristiques

• Basé sur lalgorithme Plus l-Take Away r
• Lalgorithme Plus l-Take Away r (l gt r)
• Si nous avons Xk lensemble des caractéristiques
  actuelles
• Appliquer SFS l fois pour générer un ensemble
  Xkl
• Appliquer SBS r fois pour générer un ensemble
  Xkl-r
• Continuer TANT QUE k l - r ! d

36
Sélection des caractéristiques

• Basé sur lalgorithme Plus l-Take Away r
• Lalgorithme Plus l-Take Away r (l lt r)
• Si nous avons Xk lensemble des caractéristiques
  actuelles
• Appliquer SBS r fois pour générer un ensemble
  Xk-r
• Appliquer SFS l fois pour générer un ensemble
  Xk-rl
• Continuer TANT QUE k - r l ! d
• Cas particulier
• (l,r)(l,0) gt algorithme SFS
• (0,r) gt algorithme SBS

37
Sélection des caractéristiques

• Basé sur lalgorithme MIN-MAX
• La sélection est basée sur le mérite des
  caractéristi-ques prises individuellement ou par
  paire
• Supposons que nous avons déjà sélectionné k
  carac-téristiques, nous pouvons alors évaluer le
  mérite de lensemble de caractéristiques
  restantes Y-Xk en déterminant la quantité
  dinformation nouvelle quelles ajoutent si elles
  sont ajoutées à lensemble des caractéristiques

38
Sélection des caractéristiques

• Basé sur lalgorithme MIN-MAX
• La quantité dinformation nouvelle ajoutée de
  lajout dune caractéristique yj ? Y - Xk à une
  autre xl ? Xk est donnée par

39
Sélection des caractéristiques

• Basé sur lalgorithme MIN-MAX
• Nous cherchons alors une caractéristique yj dont
  lajout dinformation est grand pour toutes les
  caractéristiques Xk
• Nous cherchons yj qui maximise pour tout les j le
  minimum de ?J(yj,xl) pour tout les l

40
Sélection des caractéristiques

• Basé sur lalgorithme MIN-MAX
• Algorithme MIN-MAX
• Si xk est lensemble des caractéristiques
  courantes. Nous cherchons la caractéristique Xk1
  yj ?Y - Xk qui satisfait