Locality Sensitive Discriminant Analysis

1
Apprentissage et Fouille de Données

• Locality Sensitive Discriminant Analysis
• Deng Cai, Xiaofei He, Kun Zhou, Jiawei
  Han, Hujun Bao

Christophe Prin-Derre
2
Présentation

• Réduction de la dimension
• Apprentissage supervisé
• Critère doptimisation
• Discrimination interclasse (globale)
• Découverte géométrie locale
• Plus importante si peu dexemple
• Projection maximisant la marge interclasse dans
  chaque zone locale.

3
Plan de létude

• Contexte et travaux apparentés
• Démarche
• Fonction objectif
• Justification algorithmique
• Cas fortement non-linéaire
• Résultats expérimentaux
• Conclusion
• Avis personnel

4
Contexte et travaux apparentés

• Réduction dimension extraire un petit nombre de
  caractéristiques intéressantes
• PCA (non-supervisé)
• LDA (supervisé)
• argmaxa aTSba / aTSwa
• grandes valeurs propres de Sba ?Swa
• Découverte de la structure locale dune Variété
• non/semi/-/supervisé -gt graphes
• Laplacien de graphes -gt tranformation
• Importance relative interclasse/intraclasse

5
Démarche Fonction objectif

• k plus proches voisins, Nw(xi), Nb(xi)
• Matrices de poids Wb et Ww
• W Wb Ww
• (x1xm) -gt (y1ym)
• Min Sij(yi-yj)² Ww,ij
• Max Sij(yi-yj)² Wb,ij

6
Démarche Justification algorithmique

• Lb Db - Wb
• argmaxa aTX(aLb(1-a)Ww)XTSwa
• aTXDwXTa 1
• Pb généralisé de valeurs propres

7
Démarche Cas fortement non-linéaire

• LSDA algorithme linéaire
• Pb si Variété formée fortement non-linéaire
• Passage dans un espace reproducing kernel
  hilbert space, RKHS.
• Introduction de
• Fonction de noyau entre 2 points
• Matrice de noyau

8
Résultats expérimentaux

• 2 problèmes de reconnaissance des visages bases
  Yale (15x11) et ORL (40x10)
• LSDA comparé aux algorithmes
• Eigenface (PCA)
• Fisherface (LDA)
• Marginal Fisher Analysis
• Conclusions tirées
• Intérêt de la réduction tous sauf Eigenface
• LSDA meilleur taux. Différence significative
  avec peu de données dapprentissage
• Dimension optimale pour LSDA nbclasses 1
• Temps gagné pas de test exhaustif

9
Conclusion

• Principal intérêt de LSDA préservation dans les
  données
• de la discrimination entre classe
• de la structure géométrique locale
• Les 2 expériences menées tendent à prouver
  lefficacité de cet algorithme

10
Avis personnel

• analyse des faiblesses de LDA
• concepts tirés dun large panel darticles
• Les graphes des plus proches voisins ainsi que le
  critère à optimiser sont présentés de façon
  claire et compréhensible
• Généralisation aux espaces fortement non
  linéaires
• expériences discutables
• peu de données
• autres algorithmes ont apparemment de nombreuses
  applications