systme de vision robuste tempsrel dynamiquement reconfigurable pour la robotique mobile

1
système de vision robuste temps-réel
dynamiquement reconfigurablepour la robotique
mobile
2
Thèse réalisée dans le cadre de Cléopatre.

• Projet RNTL 2001.
• Partenaires
• LINA, CRTTI, LRV, L2TI,
• CEA, Robosoft.
• Fonctionnalités temps réel novatrices du système
  dexploitation (LINA).
• L2TI Application à la réalisation dun système
  de vision pour la robotique mobile.

3
Robotique mobile applications.

• Industrie
• transport,
• intervention.
• Grand public
• jouet,
• télésurveillance.
• Recherche
• véhicule intelligent,
• robotique dassistance.

4
Robotique mobile rôle de la vision.

• Pour une plus grande autonomie
• nécessité dun capteur polyvalent.
• Caméra ensemble dense de mesures.
• Traitement de Vision
• extraction de primitives,
• extraction dinformations.

5
Vision robotique difficultés.

• Puissance de calcul
• taille des données,
• calculs.

• Embarqué
• matériel limité,
• partage des ressources.

• Durée variable
• contenu de la scène,
• basse priorité de la vision.

• Système stable
• cadence,
• latence,
• régularité.

6
Système de Vision robotique statut.

• La vision est un capteur.
• Elle doit fournir un service aux autres
  sous-systèmes du robot.
• Sa défaillance ne doit pas se propager au reste
  du robot (blocage prohibé).

7
Système de Vision robotique qualités.

• Longue portée de perception,
• Rapidité,
• Fiabilité,
• Robustesse.

8
Système de vision temps-réel définition.
constante de temps du robot
constante de temps de lenvironnement
cadence vidéo
cadence de réception
latence des informations
sous-systèmes clients demandeurs dinformations
9
Système de vision temps réel définition.

• Un système de vision temps réel (SVTR) est un
  système de vision dont les traitements répondent
  aux contraintes de cadence et de latence imposées
  par
• les systèmes clients,
• lenvironnement,
• le robot.

10
Objectif de la thèse.

• Système de vision relativement générique pour la
  robotique mobile
• temps-réel,
• robuste,
• sûr,
• à coût et besoins matériels limités.
• Utilisation de RT-Cléopatre à cette fin.

11
Plan.

• Analyse des besoins.
• Choix des algorithmes de vision.
• Architecture du système.
• Reconfiguration dynamique.
• Outils.
• Conclusion.

12
Plan.

• Analyse des besoins.
• Choix des algorithmes de vision.
• Architecture du système.
• Reconfiguration dynamique.
• Outils.
• Conclusion.

13
Analyse des besoins.
14
Tâches robotiques localisation (1).

• Vision lente (vs. asservissemts 1 kHz).
• Recalage de la position.
• Environnement coopératif
• plan connu,
• balises colorées.
• Système de localisation passif.
• Déjà utilisé en RoboCup (3M LRV).

15
Tâches robotiques localisation (2).

• Détection et reconnaissance des balises par
  segmentation région.

16
Tâches robotiques détection dobstacles.

• Zone de détection champ de vision.
• Pas da priori sur la forme ou la hauteur.
• Calcul de la zone occupée.
• Estimation de la vitesse relative de lobstacle.
• Environnement coopératif.
• Sol de couleur connue.
• Détection des trous.

17
Symétrie asservissements/vision.
Localisation
Détection dobstacles
système de vision
système mobile
pilotage
navigation
18
Autres opérateurs.

• Reconnaissance de formes
• lignes, cercles, ovoïdes
• reconnaissance de signalisation passive.
• Détection de visages, de personnes (dialogue
  homme-machine).
• Reconstruction 3D.

19
Besoin commun extraction dinformations.

• Primitives images
• Contours,
• Régions,
• Vitesses.
• Recherche dopérateurs performants adaptés.

20
Plan.

• Analyse des besoins.
• Algorithmes de vision.
• Critères de choix et dévaluation.
• Nouvelle Segmentation en Régions.
• Architecture du système.
• Reconfiguration dynamique.
• Outils.
• Conclusion.

21
Plan.

• Analyse des besoins.
• Algorithmes de vision.
• Critères de choix et dévaluation.
• Nouvelle Segmentation en Régions.
• Architecture du système.
• Reconfiguration dynamique.
• Outils.
• Conclusion.

22
Critères de qualité des algorithmes.

• Critères de qualité pour la robotique
• Fiabilité des informations
• haut-niveau détection
• intermédiaire attributs de primitives.
• Rapidité et régularité du traitement.
• Non-pertinents
• Qualité des images intermédiaires.
• Qualité appréciée par lil humain.

23
Exemple détection dobstacle.
24
Exemple détection dobstacle.
25
Exemple détection dobstacle.
26
Exemple détection dobstacle efficace.
27
Exemple mauvaise détection dobstacle.
28
Plan.

• Analyse des besoins.
• Algorithmes de vision.
• Critères de choix et dévaluation.
• Nouvelle Segmentation en Régions.
• Architecture du système.
• Reconfiguration dynamique.
• Outils.
• Conclusion.

29
Plan.

• Analyse des besoins.
• Algorithmes de vision.
• Critères de choix et dévaluation.
• Nouvelle Segmentation en Régions.
• Architecture du système.
• Reconfiguration dynamique.
• Outils.
• Conclusion.

30
Segmentation en régions.

• Principe
• regroupement des points connexes de même couleur
  (avec un seuil de tolérance).
• Problème durée trop longue (10ms souhaité).

31
Segmentation en régions choix des algorithmes.

• Segmentation coopérative contours/régions,
• croissance parallèle isotrope,
• adaptation Rosenfeld Pfaltz,
• adaptation plages connexes.
• Démarche pragmatique implantation et tests.

32
Segmentation en régions durée des algorithmes.
33
Segmentation en régions qualité des résultats.
Sur-segmentation
34
Segmentation en régions qualité des résultats.
Adapt. R Pfaltz
Adapt. Plages Cnx
Sous-segmentation
Segm. Coopérative
Segm. Parall. Isotrope
35
Segmentation en régions qualité des résultats.
Adapt. R Pfaltz
Adapt. Plages Cnx
Segm. Coopérative
Segm. Parall. Isotrope
36
Segmentation en régions conclusions.

• Suffisamment rapides mais mauvaise qualité
• adaptation de Rosenfeld Pfaltz,
• adaptation des plages connexes.
• Bonne qualité mais trop lents
• segmentation parallèle isotrope,
• segmentation coopérative.
• Aucun opérateur nest satisfaisant

37
Méthodologie Boîte Claire.

• Objectif
• conception de meilleurs algorithmes à partir
  dexpériences dimplantation.
• Évaluation
• qualitative et quantitative des résultats et
  performances (boîte noire)
• mise en correspondance de lévaluation avec les
  mécanismes internes de lalgorithme.
• Utilisation
• développement de nouveaux algorithmes, reprenant
  les mécanismes performants amélioration,
  hybridation.

38
Analyse Boîte Claire.

• Fusion isotrope ?? qualité des résultats.
• Critère local ?? gradient dintensité.
• Structure pyramidale (Horowitz Pavlidis)
• rapide,
• permet un regroupement isotrope.
• Regroupement flot de données (R. Pfaltz)
• rapide,
• mauvaise qualité de la fusion pixels par pixels.

39
Nouvelle Segmentation Régions étapes.

• Fusion hiérarchique et pyramidale sur 3 niveaux
  (adapt. H. Pavlidis),
• Fusion hiérarchique en flot de données sur ces
  mêmes 3 niveaux (adapt. Rosenfeld Pfaltz),
• Fusion couleur.

40
Nouvelle Segmentation Régions étapes.

• Étapes 1 2 segmentation en régions classique.
• Aucune connaissance a priori.
• Extension du nombre de niveaux en fonction de la
  taille de limage.
• Étape 3 segmentation supervisée.
• Nécessite une classification couleur.

41
Fusion hiérarchique pyramidale pixels ? 3x3.

• Validation de lhomogénéité des pixels voisins
  par rapport au pixel central (germe).
• Nouvelle région si 3 voisins homogènes regroupés.

42
Fusion hiérarchique pyramidale pixels ? 3x3.

• Validation de lhomogénéité des pixels voisins
  par rapport au pixel central (germe).
• Nouvelle région si 3 voisins homogènes regroupés.

43
Fusion hiérarchique pyramidale 3x3 ? 9x9.

• Validation de la connexité test de la présence
  de deux points.
• Validation photométrique moyennes proches des
  régions 3x3 à regrouper.

44
Fusion hiérarchique pyramidale 9x9 ? 27x27.

• Validation de la connexité
• deux régions,
• deux points.
• Validation photométrique moyennes proches des
  régions 3x3 à regrouper.

45
Fusion hiérarchique pyramidale résultats.
46
Fusion hiérarchique pyramidale commentaire.

• Sur-segmentation fusion à continuer.
• Critère de fusion 3x3 ? suivi des dégradés.
• Les régions 27x27 forment des germes fiables.

47
Fusion hiérarchique en flot de données.

• Fusion des régions 27x27, puis 9x9, puis 3x3.
• Parcours inspiré de R. P. pour 27x27, plus
  complexe pour 9x9 et 3x3.
• Critères
• validation topologique de la connexité présence
  des régions 3x3 et des points.
• validation photométrique moyenne des régions 3x3
  voisines proches.

48
Fusion hiérarchique en flot de données étape 1.
49
Fusion hiérarchique en flot de données étape 2.
50
Fusion hiérarchique en flot de données étape 3.
51
Fusion hiérarchique en flot de données résultat.
52
Fusion hiérarchique en flot de données résultats.
53
Fusion couleur.

• Étape supervisée facultative.
• Deux étapes
• classification couleur adaptation aux régions de
  la classification pixels (SONY ou autres).
• Fusion des régions classifiées de même couleur.

54
Fusion des régions classifiées

• Reprise du parcours de la fusion pyramidale 3x3.
• Suppression du test de connexité.
• Regroupement de deux régions si même couleur.

55
Fusion couleur résultats.

• Fusion de la zone ombrée à la zone éclairée.

56
Nouvelle Segmentation en Régions performances.
57
Nouvelle Segmentation en Régions évaluation.

• Bonne qualité comparable à la fusion parallèle
  isotrope.
• Attributs corrects.
• Points isolés sans intérêt.
• 2 fois plus rapide que R Pfaltz.

58
Nouvelle Segmentation en Régions.

• Suffisamment rapide pour la robotique.
• QCIF 6 ms.
• Suffisant pour nos travaux.
• Extraction de contours couleur par Kirsh-4
  optimisé 14 ms.
• Utilisation possible en robotique.

59
Plan.

• Analyse des besoins.
• Algorithmes de vision.
• Architecture du système.
• Reconfiguration dynamique.
• Outils annexes.
• Conclusion.

60
Architecture du système.
61
Place de la vision dans le robot.

• La vision est un capteur.
• Elle rend un service aux autres sous-systèmes du
  robot.
• Son fonctionnement est nécessaire à
  laccomplissement de la mission.
• Son dysfonctionnement ne doit pas avoir de
  conséquence grave.

62
Communications.
Vision
Commandes directes
Position, Vitesse
Contrôle/Commande de la tête
Contrôle/Commande du robot
Informations, Souhaits
Vitesse
63
Architecture du SVTRgrandes lignes.

• Architecture de type PC.
• Généricité
• nombre, type et position des caméras.
• Anticipation des besoins futurs
• stéréoscopie,
• architecture distribuée.
• Anticipation du débogage et de la validation.
• Implantation dalgo. optimisés avec un RTOS
  permettant de limiter le besoin CPU.

64
Donnée élémentaire format den-tête.
65
Donnée élémentaire structure trame.

• Magic Number.
• Format de stockage.
• Format de conversion.
• Sens du format.
• Octets par pixel.
• Résolution.

• Extension.
• Source.
• Date.
• Numéro.
• Adresse de la trame.
• Adresse de la zone de pixels.

66
Architecture anticipation de la validation.
commande du modèle
acquisition du simulateur
traitement vision
Acquisition de la caméra
Commande du robot

• Symétrie des boucles simulée et réelle.
• Aucune modification du système de traitement
  vision entre ces deux phases garantie de
  non-régression.
• Interfaçage du simulateur de vision et du module
  de vision avec simulateur dynamique du CEA.

67
Architecture du système de vision.
68
Architecture du système de vision.
69
Composition des étages du système de vision.

• Extraction de toutes les primitives
• généricité,
• complémentarité des informations.
• Tâches robotiques clientes
• détection dobstacles,
• localisation,
• etc.

70
Dimensionnement évaluation du pire cas.

• Respect déchéances strictes.
• Pire cas surévalué
• surdimensionnt,
• surcoût.
• SVDR dimensiont adapté aux cas fréquents.

71
Plan.

• Analyse des besoins.
• Algorithmes de vision.
• Architecture du système.
• Reconfiguration dynamique.
• Outils.
• Conclusion.

72
Reconfiguration dynamique.
73
Reconfiguration dynamique définition.

• Modification des traitements considérés en cours
  de fonctionnement, en réponse à une mesure
  interne ou externe au système.

74
Reconfiguration dynamique lexistant.

• Cible
• modification des paramètres,
• modification du nombre ditérations,
• modification de la chaîne algorithmique.
• Pilotée par le système de vision lui-même
• Déclenchée par des mesures internes.

75
Reconfiguration dynamique limitation.

•  Pilotée par le système de vision lui-même 
• Limité à des systèmes de vision fermés.
• Peu adapté à la robotique
• coexistence avec les autres sous-systèmes,
• partage des ressources.

76
Reconfiguration dynamique considérée.

• Reconfiguration pilotée par lOS.
• Mécanismes de Tolérance aux Fautes de Cléopatre
  (LINA)
• fonctionnement minimal,
• non blocage,
• fonctionnement dégradé prévu,
• utilisation optimale des ressources.

77
SVDR intérêt de Cléopatre.

• Compromis pour chaque opérateur.
• Surdimensionnement du système
• tenir compte du pire cas,
• parfois difficile à déterminer,
• rare.
• garantir la sécurité.

78
SVDR intérêt de Cléopatre.

• Opérateurs principal et dégradé complémentaires
  (Mécan. à Échéances).
• Tâches optionnelles (Calcul Imprécis).
• Dimensionnement du système
• pour les situations les plus fréquentes,
• sécurité comportement dégradé prévu à la
  conception.

79
Segmentation en régions dynamiquement
reconfigurable.

• Tâche principale
• Croissance de régions (robuste).

• Tâche de secours
• Classification Couleur, suivie dune
  Décomposition en Composantes Connexes.

80
Mécanisme à Échéances conclusions.

• Durée de la tâche de secours faible
• laisser du temps aux tâches nominales.
• Conserver une trace de la fréquence dactivation
  de la tâche de secours
• reconfiguration en ligne,
• modification du design (hors-ligne).

81
Mécanisme à Échéances stratégies de reprise.

• Ne rien faire.
• Prendre note du problème.
• Utiliser un prédicteur.
• Recommencer le traitement avec un autre
  algorithme.
• Poursuivre le traitement avec un autre algorithme.

82
Poursuite du traitement avec un autre algorithme.

• Justification
• activation de la tâche de secours rare,
• traitement nominal déjà avancé.
• Il est dommage de perdre les résultats nominaux
  de qualité, et de passer du temps à refaire les
  mêmes choses.

83
Traitement avec un autre algorithme raccommodage?
84
Calcul Imprécis tâche optionnelle de raffinement.

• Ne doit pas dégrader les résultats.
• Si traitement optionnel partiel possible
• même buffer pour A et A.
• Sinon
• buffers séparés commutés à la fin de A.

85
Calcul Imprécis tâche optionnelle indépendante.

• Sinterroger sur sa raison dêtre !
• Intérêt des résultats ?
• Traitement nécessaire ? Facultatif ?
• Implantation en tâche périodique ?

86
Calcul Imprécis implantation dune tâche
optionnelle indépendante.

• Utilisation mesure de la qualité des traitements
  nominaux.
• Intérêt ne surcharge pas le processeur.
• Compte des points de contours.
• Permet de valider les paramètres de contrôle, et
  de les modifier si besoin.

87
Système minimal implanté.
88
Plan.

• Analyse des besoins.
• Algorithmes de vision.
• Architecture du système.
• Reconfiguration dynamique.
• Outils.
• Simulateur 3D,
• Intercepteur.
• Conclusion.

89
Simulateur 3D caractéristiques (1).

• OpenGL, SDL.
• Environnement industriel.
• Réalisme adapté
• robot mobile holonome,
• 1 à 3 caméras mobiles,
• textures,
• éclairages,
• balises colorées,
• obstacles statiques.

90
Simulateur objets commandés par FIFO.

• Objets mobiles
• position,
• vitesse.
• Sources lumineuses
• position,
• propriétés.

91
Intercepteur principe.

• Débogueur graphique dune chaîne de traitement
  temps-réel en fonctionnement.
• Affichage périodique des images dans des buffers
  en mémoire partagée.
• Période longue pour limiter la perturbation du
  système.

92
Intercepteur interface.
93
Intercepteur utilisation.
94
Plan.

• Analyse des besoins.
• Algorithmes de vision.
• Architecture du système.
• Reconfiguration dynamique.
• Outils.
• Conclusion.

95
Conclusion.

• Algorithmie.
• Architecture.
• Reconfiguration dynamique.
• Perspectives.

96
Algorithmie.

• Méthodologie Boîte Claire.
• Nouvelle segmentation région couleur utilisable
  en robotique temps-réel.
• Détection de contours optimisée.
• Première étude dutilisation du flot optique.

97
Architecture.

• Conception dune architecture robotique assez
  souple et générique.
• Réalisation dun SVDR minimal.
• Reconfiguration dynamique
• sécurité et non-blocage
• meilleur dimensionnement.
• Débogage et validation en fonctionnement
  Intercepteur, simulateur 3D.

98
Reconfiguration dynamique.

• Dimensionnement plus juste du système.
• Fonctionnement minimal et sécurité.
• Stratégies de reprise avancées.
• Conception de couples dopérateurs.
• Tâches optionnelles de mesures internes.

99
Perspectives

• Conception de couples dopérateurs.
• Études sur le flot optique.
• Enrichissement de Cléopatre Vision
• reconstruction 3D temps-réel,
• etc.
• Développement dun nouveau simulateur 3D.

100
Merci de votre attention.
101
(No Transcript)