An Introduction to Biometric Verification of Identity

1
An Introduction to Biometric Verification of
Identity
Gérard CHOLLET chollet_at_tsi.enst.fr
ENST/CNRS-LTCI46 rue Barrault75634 PARIS
cedex 13 http//www.tsi.enst.fr/chollet
2
Outline

• Why should the identity of someone be verified ?
• Biometry
• A definition of biometry
• Desirable properties of biometric characteristics
  
• Biometric modalities
• Classification of biometric authentication
  systems
• Architecture of biometric authentication systems
• Enrollment, registration, training, adaptation,
  testing
• applications
• Evaluating biometric authentication systems
• fingerprint / face / retina / iris / signatures /
  handshape / handprint
• Speaker verification NIST evaluations
• Fusion of modalities
• On-going biometric projects
• Conclusions and perspectives

3
Why should someone be identified ?

• Security ?
• Protect individual property
• Home, bank account, mobile phone, PC, data bases,
  medical records, messages
• Protect collective property
• Computer network, nuclear plants, military zones,
  data bases
• Individualisation of automatic services
• Multimedia indexing
• Police investigations and Law enforcement
• Quantify the similarities between a piece à
  conviction and a suspect

4
How could the identity of someone be verified ?

• Comment ?
• Identifiant connu par la personne
• Mot de passe, code PIN
• Identifiant possédé par la personne
• Carte à puce, clé, badge
• Identifiant propre à la personne
• La caractéristique biométrique

Bonne acceptabilité Fortement répandu
Peut être oublié facilement usurpable
Classiquement utilisé reconnu partout
Facilement volé et/ou falsifié
Supprime toutes clés ou mot de passe
Peut accroître la complexité de laccès
5
Pourquoi et comment vérifier lidentité dun
individu ?
SECURED SPACE
6
Lidentification biométrique Définition de la
biométrie

• Le Petit Robert
• La science qui étudie, à l'aide des
  mathématiques, les
• variations biologiques à l'intérieur d'un groupe
  déterminé.
• Etude des variations de certaines
  caractéristiques au sein dun groupe
• Détermination de techniques permettant de
  distinguer les individus entre eux parmi les
  caractéristiques jugées pertinentes
• Variations biologiques
• Variation dune caractéristique physiologique
• Variation dune caractéristique comportementale
• La biométrie rassemble lensemble des procédés
  automatiques didentification basés sur des
  caractéristiques physiologiques et/ou
  comportementales

7
Lidentification biométrique Propriétés
souhaitées de la caractéristique biométrique

• Robustesse
• Détermine sa stabilité au cours du temps et sa
  propriété dêtre peu sensible au contexte
  dutilisation (variabilité intra-utilisateur)
• Distinctibilité
• Caractérise la dépendance de sa mesure par
  rapport à chaque utilisateur (variabilité
  inter-utilisateur)
• Accessibilité
• Facilement et efficacement mesurable par un
  capteur
• Acceptabilité
• Caractérise la manière dont elle est perçue par
  lutilisateur
• Disponibilité
• La caractéristique doit être facilement mesurable

8
Lidentification biométrique Modalités
biométriques
Caractéristiques physiques
Caractéristiques comportementales

• Empreintes digitales
• Géométrie de la main
• Rétine, Iris
• Robuste, SAB induit précis
• Faible évolution avec le
• vieillissement de lindividu
• Bonne précision des systèmes
• biométriques induit
• Mesure de la caractéristique
• généralement coûteuse
• Mauvaise acceptabilité

• Parole
• Ecriture, signature
• Rythme de frappe sur un clavier
• Bonne acceptabilité et
• disponibilité
• Sensible au vieillissement de
• lindividu
• Moins bonne précision et
• robustesse

9
Lidentification biométrique Modalités
biométriques
10
Lidentification biométrique Modalités
biométriques
11
Lidentification biométrique Modalités
biométriques

• Taille des références caractéristiques
• La main 9 bytes
• Empreintes digitales 250-1000
• Parole 1500-3000 bytes.

12
Lidentification biométrique Classification des
SAB Waymann

• Coopératif / non-coopératif
• Manifeste / caché
• Stable / instable
• Supervisé / non-supervisé
• Ouvert / fermé

• Comportement de lutilisateur cherchant à tromper
  le système
• Coopère pour usurper une identité
• Soppose au système pour ne pas être reconnu

Lutilisateur sait-il quil est sujet à un test
didentification biométrique ?
Caractérise lévolution des performances en
fonction de la durée et de la fréquence
dutilisation du système
Si la référence caractéristique du client est
publique ? ouvert Si la référence caractéristique
du client est privée ? fermé
13
Lidentification biométrique Architecture dun
SAB
14
Lidentification biométrique Phase
dapprentissage

• Lacquisition du signal biométrique qui servira à
  la construction de la référence caractéristique.
• Pour certaines modalités (signature, mot de
  passe, parole,...), plusieurs répétitions sont
  souhaitables.
• Un modèle de référence peut éventuellement être
  inféré.
• Ce modèle peut être adapté pour prendre en compte
  les dérives temporelles.

15
Lidentification biométrique Phase
opérationnelle

• Suis-je bien la personne que je prétends être ?
• Vérification didentité
• Qui suis-je ?
• Identification (ensemble fermé / ouvert)
• Contraintes
• Même condition dacquisition du signal
  biométrique que lors de la phase dapprentissage
• Temps nécessaire à la décision
• Ressources matérielles disponibles

16
Lidentification biométrique Exemple
dapplication
Réseau internet
1. Calcul du score 2. Normalisation, Décision
Carte à microprocesseur
Serveur Distant
1. Normalisation, Décision
Ordinateur personnel
1. Acquisition du signal de parole 2. Analyse
acoustique
17
Lidentification biométrique Evaluation des SAB

• Critère dévaluation des systèmes biométriques
• Probabilité de fausse acceptation
• Probabilité de faux rejet
• Taux déchec à lapprentissage
• Taux déchec lors de lacquisition des données en
  phase de test
• Critères plus subjectifs acceptabilité du
  système.
• Evaluation dune technologie
• Probabilité de fausse acceptation
• Probabilité de faux rejet

18
Lidentification biométrique Evaluation des SAB

• Deux types derreurs
• faux rejet (un client légitime est rejeté)
• fausse acceptation (un imposteur est accepté)
• Théorie de la décision étant donné une
  observation O
• Hypothèse H0 cest un imposteur
• Hypothèse H1 cest notre client
• Choix de H1

19
Lidentification biométrique Evaluation des
SABdistribution des scores
20
Lidentification biométrique Evaluation des SAB
la courbe DET
21
Detection Error Tradeoff (DET Curve)
22
Les empreintes digitales
23
Resolution
24
Qualité de limage
25
Capteur optique
26
Capteur capacitif
27
Sweeping sensor
28
Anatomie des empreintes digitales
29
Orientation des crètes
30
Détection des minuties
31
Mise en correspondance
32
Activités carte à puceJ. Leroux les Jardins, ENST

• Réalisation dun algorithme de vérification
  dempreintes digitales
• Stockage sur carte à puces des minuties
• Vérification didentité associée (extraction de
  caractéristiques sur le PC, mise en
  correspondance sur la carte)

33
Le visage
34
Quelques difficultés
35
Caméra infra-rouge
 
 
 
 
 
 
 
 
 
 
36
Normalisation du contraste
37
Face recognition
38
Representation du visage
39
Principal Component Analysis
40
Base de données BANCA
41
Premiers résultats

• Validation (partielle) en reco. de visages, avec
  des résultats significatifs sur la base Feret.
• 500 personnes pour lapprentissage et 500 pour
  les tests (2 images / personnes).
• Taux dídentification de lórdre de 96 à 97 (ref.
  Fisherfaces 93)

42
Système dacquisition 3DCharles Beumier, ENST

• Lumière structurée
• Fiabilité dacquisition
• Faible coût mémoire
• Rapidité algorithmique
• Prototype avec flash / diapositive
• En développement pour la couleur (acquisition de
  la texture)
• Illumination non uniforme
• Couleurs imparfaites de la diapositive

43
La rétine
44
Localisation de liris
45
Iris
46
Comparaison des caractéristiques de liris
47
Signatures
48
Signatures dynamiquesS. Salicetti, INT

• Tracé dynamique (x,y)
• Pression dynamique
• Orientation dynamique
• Validation des données
• Implantation dun système de vérification à base
  de HMM

49
Acquisition des signatures

• Coordonnées x(t),y(t)
• Pression p(t)
• Orientation q(t), y(t)

50
Modèle de Markov Caché (HMM)
O (O1,..., Ot,...)
51
Modélisation Markovienne
52
Scanner forme de la main

• Scanner HP
• Validation des données
• Extraction de points caractéristiques dans
  les images de main (projet ENST)

53
La démarche
54
Vérification du locuteur

• Classification des systèmes
• Dépendant du texte
• Public password
• Private password
• Customized password
• Text prompted
• Indépendant du texte
• Apprentissage incrémental
• Evaluation

55
Inter-speaker Variability
We were away a year ago.
56
Intra-speaker Variability
We were away a year ago.
57
Analyse de la parole
58
Mel Frequency Cepstral Coefficients
59
Dynamic Time Warping (DTW)
60
Dynamic Time Warping (DTW)
DODDINGTON 1974, ROSENBERG 1976, FURUI 1981, etc.
61
Vector Quantization (VQ)
SOONG, ROSENBERG 1987
62
Hidden Markov Models (HMM)
ROSENBERG 1990, TSENG 1992
63
Ergodic HMM
PORITZ 1982, SAVIC 1990
64
Gaussian Mixture Models (GMM)
REYNOLDS 1995
65
HMM structure depends on the application
66
Signal detection theory
67
Speaker Verification (text independent)

• The ELISA consortium
• ENST, LIA, IRISA, ...
• http//www.lia.univ-avignon.fr/equipes/RAL/elisa/i
  ndex_en.html
• NIST evaluations
• http//www.nist.gov/speech/tests/spk/index.htm

68
Gaussian Mixture Model

• Parametric representation of the probability
  distribution of observations

69
Gaussian Mixture Models
8 Gaussians per mixture
70
National Institute of Standards Technology
(NIST)Speaker Verification Evaluations

• Annual evaluation since 1995
• Common paradigm for comparing technologies

71
GMM speaker modeling
72
Baseline GMM method
l
Test Speech

LLR SCORE
73
Support Vector Machines and Speaker
Verification

• Hybrid GMM-SVM system is proposed
• SVM scoring model trained on development data to
  classify true-target speakers access and
  impostors access,using new feature
  representation based on GMMs

74
SVM principles
75
Results
76
Approche segmentale
77
Codage
78
Fusion ALISP et GMM
79
Fusion des GMMsglobaux et segmentaux
80
NIST Evaluations 2003 Results
81
SuperSID experiments
82
GMM with cepstral features
83
Selection of nasals in words in -ing
being everything getting anything thing something
things going
84
Fusion
85
Fusion results
86
Audio-Visual Identity Verification

• A person speaking in front of a camera offers 2
  modalities for identity verification (speech and
  face).
• The sequence of face images and the
  synchronisation of speech and lip movements could
  be exploited.
• Imposture is much more difficult than with single
  modalities.
• Many PCs, PDAs, mobile phones are equiped with a
  camera. Audio-Visual Identity Verification will
  offer non-intrusive security for e-commerce,
  e-banking,

87
Examples of Speaking Faces
Sequence of digits (PIN code)
Free text
88
Fusion of Speech and Face
(from thesis of Conrad Sanderson, aug. 2002)
89
An illustration
Insecure Network
Distant server

• Access to private data
• Secured transactions

1. Acquisition of biometric signals for each
   modality
2. Scores are computed for each modality
3. Fusion of scores and decision

90
Vecsys
EDF
Software602
KTH
Euroseek
UPC
Airtel
MAJORDOME Unified Messaging System Eureka
Projet no 2340
D. Bahu-Leyser, G. Chollet, K. Hallouli , J.
Kharroubi, L. Likforman, S-S. Lin, D. Mostefa,
D. Petrovska, M. Sigelle, P. Vaillant, F. Yvon
91
Majordomes Functionalities
92
Voice technology in Majordome

• Server side background tasks
• continuous speech recognition applied to voice
  messages upon reception
• Detection of senders name and subject
• User interaction
• Speaker identification and verification
• Speech recognition (receiving user commands
  through voice interaction)
• Text-to-speech synthesis (reading text summaries,
  E-mails or faxes)

93
Multimodal Identity Verification

• M2VTS (face and speech)
• front view and profile
• pseudo-3D with coherent light
• BIOMET
• (face, speech, fingerprint, signature, hand
  shape)
• data collection
• reuse of the M2VTS and DAVID data bases
• experiments on the fusion of modalities

94
BIOMET

• An extension of the M2VTS and DAVID projects to
  include such modalities as signature, finger
  print, hand shape.
• Initial support (two years) is provided by GET
  (Groupement des Ecoles de Télécommunications)
• Looking for partners to initiate a european
  project
• Emphasis will be on fusion of scores obtained
  from two or more modalities.

95
Poste de travail (suite)
96
Perspectives

• Développement du projet BIOMET.
• La fusion de modalités.
• Réseau dexcellence dans le cadre du 6ème PCRD.
• La carte à puce comme support des informations
  biométriques.