Construction de mod

1
Construction de modèles visuels
2
Motivation

• On veut décrire
• une classe dobjets (visages, piétons, montagnes
  etc.)
• un objet (en tenant compte de ses différents
  aspects)

3
Motivation

• Décrire
• une classe dobjets (visages, piétons, montagnes
  etc.)
• un objet (en tenant compte de ses différents
  aspects)
• Déterminer la classe dappartenance

modèle visuel description dimage
apprentissage
4
Motivation

• Construction dun modèle visuel
• à partir dun ensemble dimages (positives /
  négatives)
• choix de la description de limage
• descripteur global ou plusieurs descripteurs
  locaux
• descripteurs discriminants, sélection des
  descripteurs appropriés
• descripteurs invariants aux transformations image
• hiérarchie des descripteurs locaux

5
Motivation

• Construction dun modèle visuel
• à partir dun ensemble dimages (positives /
  négatives)
• choix des descripteurs
• description des variations dapparence
• déterminer la fonction discriminante (SVM, réseau
  neuronaux)

6
Motivation

• Construction dun modèle visuel
• à partir dun ensemble dimages (positives /
  négatives)
• choix des descripteurs
• description des variations dapparence
• déterminer la fonction discriminante
• décrire la distribution (histogramme, clustering,
  mélange de Gaussiennes)

7
Motivation

• Construction dun modèle visuel
• à partir dun ensemble dimages (positives /
  négatives)
• choix des descripteurs
• description des variations dapparence
• déterminer la fonction discriminante
• décrire la distribution (histogrammes,
  clustering, mélange de Gaussiennes)
• apprentissage supervisé ou "faiblement'' supervisé

8
Définition de classes dobjets - exemples

• Apprentissage supervisé pour la classe des
  visages
• Apprentissage  faiblement  supervisé pour des
  objets texturés
• Apprentissage supervisé pour la classe des
  piétons

9
Détection de visages

• Représentation des visages
• descripteurs locaux génériques
• contraintes spatiales entre les descripteurs
• Apprentissage supervisé
• extraction manuelle des éléments caractéristiques

10
Apprentissage du modèle de visage

• À partir dun ensemble dimages
  dapprentissage
• sélection des caractéristiques et calcul des
  descripteurs locaux
• apprentissage de descripteurs génériques pour
  chaque caractéristique (yeux, nez, commissures
  des lèvres)
• apprentissage des incertitudes pour les
  contraintes spatiales

11
Descripteurs génériques

• La distribution est représentée par un mélange de
  Gaussiennes estimé par EM et MDL
• EM (expectation maximization) estimation des
  paramètres
• MDL (minimum description length) sélection du
  modèle

12
Algorithme de détection

• 1) Calcul dun descripteur pour chaque pixel
• 2) Classifier chaque descripteur (maximum a
  posteriori)

Choix dun descripteur générique
avec
13
Algorithme de détection

• 1) Calcul dun descripteur pour chaque pixel
• 2) Classifier chaque descripteur (maximum a
  posteriori)
• 3) Vérification de contraintes spatiales

14
Résultats de la détection de visages
15
Définition dune classe dobjets

• Apprentissage supervisé pour la classe des
  visages
• Apprentissage  faiblement  supervisé pour des
  objets texturés
• Apprentissage supervisé pour la classe des
  piétons

16
Approche

• Apprentissage non supervisé
• pas dextraction manuelle des caractéristiques/obj
  ets
• images étiquetées comme positives et négatives
• Modèles non rigides
• représentation à deux niveaux
• un ensemble de descripteurs génériques
• des fréquences de voisinage comme contraintes
  spatiales
• invariant à la rotation

17
Construction dun modèle

• Extraction de descripteurs génériques
• Contraintes spatiales, fréquences dans un
  voisinage
• Sélection de linformation discriminante

18
Extraction de descripteurs génériques

• Calcul de descripteurs locaux en chaque pixel
• invariance à une rotation image
• Utilisation des répétitions de structure de
  niveaux de gris
• texture et répétitions de structures visuellement
  similaires
• dans limage
• entre images
• Agglomération des descripteurs similaires
• clustering (k-means)

19
Exemple de descripteurs génériques
20
Contraintes spatiales

• Affectation de chaque pixel au cluster le plus
  similaire
• Calcul des fréquences dans un voisinage

21
Contraintes spatiales

• Probabilité jointe des fréquences du voisinage et
  du descripteur générique
• Distribution multi-modale
• Calcul des clusters de fréquence spatiale

22
Sélection de structures significatives

• Sélection des clusters caractéristiques,
  discriminants
• Apparaissent surtout dans des images positives
• Significance est définie par

23
Recherche dimages

• Calcul dun score probabiliste pour chaque pixel
• Calcul du descripteur et sélection du cluster le
  plus similaire
• Calcul de la probabilité jointe
• Rejet des pixels ayant une probabilité jointe peu
  significative
• Moyenne des scores gt reconnaissance
• Sélection des pixels ayant un score important gt
  localisation

24
Résultats de reconnaissance
exemples positifs (5) et négatifs (10)
images les plus similaires (base contenant 600
images)
25
Localisation dun modèle
localisation dun modèle dans une image reconnue
26
Précision / Rappel (zèbre)
27
Précision / Rappel (guépard)
28
Localisation dun modèle
localisation dun modèle sur une image retrouvée
29
Précision / Rappel (visages)
30
Définition dune classe dobjets

• Apprentissage supervisé pour la classe des
  visages
• Apprentissage  faiblement  supervisé pour des
  objets texturés
• Apprentissage supervisé pour la classe des
  piétons

31
Approche

• Description globale du motif
• Classification avec support vector machine

Descripteurs
Apprentissage
Images dapprentissage
32
Support vector machine

• On a exemple
• avec
  où donne la classe

33
Apprentissage

• Descripteurs
• ondelettes de Haar déchelles 16x16 et 32x32
• Gaussiennes déchelle 17x17 et 34x34
• Noyau linéaire séparation linéaire des données
• détection en temps linéaire par rapport à la
  dimension de lespace des descripteurs

différence moyenne
est précalculé
34
Détection
Support vector machine
Test
Résultats
Détection multi-échelle
35
(No Transcript)