Sminaire : Vision par ordinateur pour les tlcommunications

1
Séminaire Vision par ordinateurpour les
télécommunications

• Représentation / indexation dimages par des
  chaînes de symboles
• J.M. Jolion / I. Simand

2
Plan de la présentation

• Motivations
• Architecture globale
• Une nouvelle signature image
• Comparaison entre images
• Premiers résultats
• Conclusion et perspectives

3
Motivations

• Approche bio-inspirée
• vision attentive (Mannan et al.)
• pas un seul point dobservation mais plusieurs
  focus dattention (mouvement saccadé de lil)
• dynamique dune scène aussi caractéristique que
  la scène elle même
• compression adaptative basée sur le contraste
  (lois de Naka-Rushton)
• théorie des codes ordonnés
• parcours visuel Spikenet (Thorpe et al.)
• FIS (Cornuéjols et al.)

4
Motivations

• Par conséquent
• extraction de points dintérêts
• utilisation de critères basiques le contraste
  et la couleur
• usage de la notion dordre
• distribution 2D (graphe) ? passage en 1D
  (liste) ? chaîne
• utilisation de motifs non numériques et
  fréquents masques binaires 3x3 (i.e. voisinage
  immédiat des points dintérêt)

5
Architecture globale

• Image
• Rehaussement de contraste
• Image binaire Image Points dintérêt
• Extraction des caractéristiques
• Cartographie 2D de masques binaires 3x3 et
  couleur
• Sériation
• Chaîne de symboles

6
Architecture globale
De limage aux masques binaires
Masques binaires 3x3 correspondant aux points
d'intérêts extraits dans l'image après sa
binarisation
Image originale
Image binarisée
7
Architecture globale
Image requête
chaîne de symboles
Mesure de type Levenstein
chaînes de symboles
Base dimages
Similarité
8
Une nouvelle signature image

• La caractéristique couleur
• soit m un masque. m bUn où b représente les
  pixels blancs et n les noirs
• m est associé à une double composante couleur
  c(b) et c(n), moyenne des vecteurs couleurs de b
  et n respectivement
• c(b) et c(n) sont seuillés
• la double composante couleur de m est calculée en
  utilisant une table à priori

9
Une nouvelle signature image

• La caractéristique couleur

10
Une nouvelle signature image

• De la cartographie 2D à la chaîne de symboles
• la liste ordonnée des points dintérêt constitue
  une chaîne de symboles des masques binaires 3x3
• le critère dordonnancement est la valeur de
  contraste

11
Une nouvelle signature image
Un nouveau code basé sur les masques binaires

• Image ? ( )
• 8 4 2
• x 16 256 1 ? 101
• 32 64 128
• Taille du code 9 bits masques (3x2) bits
  couleur
• Soit un code inférieur à 2 octets

12
Comparaison

• Principe général
• comparer deux images comparer leur chaîne
  signature
• Image1 ? ( , , , , ,
  )
• Image2 ? ( , , ,
  , )
• Quelle est la distance entre deux masques?
• distance entre composantes couleurs
• distance entre deux masques binaires

13
Comparaison composantes couleurs

• On note bi (resp. ni) la couleur de la zone
  blanche (resp. noire) du masque mi
• d(mi, mj) c(bi, bj) c(bi, nj) c(ni, nj)
  c(ni, bj)

(Pour les masques uniformes, une formule
particulière est utilisée)
14
Comparaison distance entre 2 masques

• C(mi, mj) (aH Hij , ac Cij , aS Sij , a? ?ij
  , aL Lij)
• Hij , distance de Hamming
• Cij , distance entre couleurs
• Sij , distance structurelle
• ?ij , distance angulaire
• OU
• Lij , distance dapprentissage
• , fonction du type Min, Sum, Max, etc.
• aH, ac, aS, a?, aL coefficients arbitraires

15
Comparaison distance entre 2 chaînes

• Distance de Levenstein (suppression, insertion,
  substitution de symboles)
• Distance L1 d(s1,s2) Sk C(mk1, mk2)
• Distance d6 distance de distribution
• H1(i) mk1 mk1 i
• H2(i) mk2 mk2 i
• d6(s1,s2) Si H1(i) H2(i)

16
Comparaison distance entre 2 chaînes

• Distance d10 appariement des masques façon L1
  et distribution sous forme dhistogrammes façon
  d6
• for i 1 ? l(s1)
• H1(mi1) H1(mi1) (l (s1) i 1) x
  C(mi1, mi2)
• do H2(mi2) H2(mi2) (l (s1) i 1) x
  C(mi1, mi2)
• W W (l (s1) i 1) x C(mi1, mi2)
• d10(s1,s2) Si H1(i) H2(i) / W

17
Résultats

• Divers types de questions
• base 1 affectation dimages à plusieurs classes
  déterminées
• base 2 reconnaissance dune image comme
  appartenant à une classe particulière
• base 3 reconnaissance dun sous-groupe dimages
  au sein dun groupe bien définit
• base 4 classification de chiffres
• base 5 fouille dimages

18
Résultats

• Critère de performance taux de classification
  moyen
• Images associées à leurs k plus proches classes
  voisines

19
Base dimages 1
30 bateaux

• 7 classes, 254 images

35 outils
50 avions
50 voitures
29 objets vikings
30 trains
30 légumes
20
Histogramme couleur

• Classification globale par histogrammes couleur
  ()
• Résultat 68.6 avec 5 ppv (sans outil ni
  viking, 57 avec 5 ppv)

21
Points dintérêt et masques binaires
PI NG
TA MB
x TA NG
PI MB
22
Combinaison des 2 critères

• Image
• Optimal ? ?

23
Combinaison des 2 critères

• Bateau 63
• Voiture 82
• Avion 82
• Outil 74

• Train 86
• Légume 73
• Viking 93
• Soit 79 au total

24
Combinaison des 2 critères

• En pratique 70 par combinaison de 5 ppv
  masques et 5 ppv couleur

25
Apprentissage
d6
d10
x d10 apprentissage
26
Conclusion et perspectives

• Faire plus de tests
• Améliorer les caractéristiques couleurs
• Combiner de façons plus pertinente forme et
  couleur
• Tirer bénéfice de la multirésolution
• Mettre en place un véritable procédé de sériation
  pour conserver laspect spatial
• Élaborer une distance plus sophistiquée

27
Séminaire Vision par ordinateurpour les
télécommunications

• Représentation / indexation dimages par des
  chaînes de symboles
• J.M. Jolion / I. Simand