Cartographie et Localisation par vision monoculaire

1
Cartographie et Localisation par vision
monoculaire
Séminaire LAAS 29 juin 2006

• Joan Solà et Thomas Lemaire
• LAAS-CNRS
• Toulouse, France

2
Cartographie et Localisation par vision
monoculaire

1. Fondements du SLAM par vision. Joan Solà
2. Méthodes retardées. Expériences. Thomas Lemaire
3. Méthodes immédiats et ses extensions. Perception
   en vision.Joan Solà
4. Cartographie plus complexe. Cameras
   panoramiques.Thomas Lemaire

3
SLAM de langlais, Simultaneous Localization And
Mapping
Exploration Cartographie et Localisation
Correction
SLAM
4
SLAM de langlais, Simultaneous Localization And
Mapping
5
SLAM de langlais, Simultaneous Localization And
Mapping
2
5
157
1
4
3
6
Vision Monoculaire vs. Stereo
Fragilité mécanique problèmes de calibrage
Robustesse et compacité
Observabilité 3D immédiate(à distance limitée)
Observabilité 3Dà partir du mouvement
7
Le problème du monoculaireInitialisation des
Amers

• Lapproche naïve

?
tactuel
?
tprecedent
tactuel
Te
8
Le problèmeInitialisation des Amers

• Considération des incertitudes

?
tactuel
9
L'idée CLÉE
INITIALISATIONretardée
?
ltDavison 03gt ... Lemaire 05
prenons la voie facile
Le derniermembreest facilementincorporé
Lapproximationinitialeest facile
La sélection des membres est facile et sûre
Initialisationimmédiate
Kwok 04 Solà 05
10
Définition du Rayon Géométrique

• Remplir lespace entre rmin et rmax
• Avec le nombre minimal de termes
• Tout en respectant les contraintes de
  linéarisation

• Définir une série géométrique de Gaussiennes

?4
r4
?3
r3
? ?i / ri
? ri / ri-1
rmin
rmax
xR position de la camera
11
Les bénéfices du Rayon Géométrique

• Facteur de forme, base géométrique et limites de
  distance
• Le nombre de termes est logarithmique en rmax /
  rmin
• On obtient des nombres très petits
• Les membres étant Gaussiens, ils sont facilement
  manipulables avec FKE.

rmin , rmax
???????
?????
Ng f(???? log(rmax / rmin)
Scénario rmin rmax Ratio Ng
Intérieur 0.5 5 10 3
Extérieur 1 100 100 5
Longue portée 1 1000 1000 7
12
Comment ça marche
La première observation détermine le Rayon
Conique
13
Comment ça marche
Japproche le Rayon Coniqueavec le Rayon
Géométrique
Je peux initialiser les membres
maintenant  Jobtiens une méthode immédiate.
14
Comment ça marche
Je me déplace et réaliseune deuxième observation
Je peux distinguer les membres dans limage
15
Comment ça marche
Je calcule vraisemblanceset actualise
crédibilités
Cest comme modifier la forme du rayon
16
Comment ça marche
J'élimine les membresinvraisemblables
Cest une opération triviale et conservatrice
17
Comment ça marche
Avec des méthodes immédiates je peux corriger
la carte SLAM
18
Comment ça marche
Je continue...
19
Comment ça marche
Et un jour il ne resteraquun seul membre.
Ce membre est déjà Gaussien! Si je linitialise
maintenant jai une méthode retardée
20
Méthodes retardées et immédiates

• Plus simples à implémenter.
• Linformation issue des observations partielles
  nest pas utilisée immédiatement.

retardées

• Plus de difficultés mathématiques et
  algorithmiques.
• Les observations des amers contribuent au SLAM
  dès le début.

immédiates
21
Observabilité Trajectoires non contraintes
?min
22
Trajectoires fortement contraintes  Méthodes
retardées et immédiates
immédiates
retardées
immédiates
retardées
immédiates
?min
23

• Thomas

24
Méthodes retardées et immédiates
Champ de vue
Champ de vue
immédiates
retardées
retardées
immédiates
immédiates
retardées
retardées
immédiates
immédiates
25
Troisième partie

• Aspects mathématiques et algorithmiques pour
  linitialisation immédiate
• Perception pour le SLAM par vision
• Extensions des méthodes
• Objets mobiles dans la scène
• Auto-calibrage pour la Stéréo

26
L'algorithme du Partage Fédératif de
lInformation (PFI)

• Initialiser les membres comme des amers
  différents dans la même carte SLAM
• Lors des observations postérieures
• Actualiser les crédibilités et éliminer les
  mauvais membres
• Effectuer une correction fédérée
• Quand il ne reste quun membre
• Rien à faire

immédiate
27
L'algorithme PFI

• La Correction un moment délicat
• Une observation / multiples hypothèses
• Si je corrige plusieurs fois inconsistance
• Si je corrige sur la mauvaise hypothèse
  divergence

immédiate
?
28
L'algorithme PFI

• La Correction Fédérée Partager lInformation
• Observation y avec bruit de covariance R
  information R-1
• N hypothèses à corriger

immédiate
29
Perception recherche active

• Observation initiale dun amer
• Sur un point d'intérêt, point de Harris
• Enregistrer une imagette comme descripteur,
  15x15 pixels
• Observations ultérieures
• Projeter tous les amers de la carte sur limage
  avec ses ellipses dincertitude
• En sélectionner ceux avec ellipses de majeure
  surface
• Ajuster la taille et rotation de limagette selon
  les informations de profondeur et orientation de
  lamer contenues dans la carte
• Réaliser une recherche dans lellipse par maximum
  de corrélation
• Récupérer le pixel gagnant comme mesure de lamer

30
L'algorithme PFI
31
Extensions

• Détection et suivi dobjets mobiles
• Besoin dobservabilité totale revenir sur la
  stéréo
• Auto-calibrage dun banc stéréo

32

• Thomas