Hinderniserkennung nach dem Modell des Fliegenauges

1
Hinderniserkennung nach dem Modell des
Fliegenauges
2
Aufbau des Vortrags

• Motivation
• Bewegungserkennung und Navigation der Insekten
  und speziell der Fliege
• Adaption dieser Konzepte in das Design des
  Roboters Mouche bzw. Demonstrator

3
Motivation

• Bei mobilen Robotern besteht immer das Problem
  der Orientierung
• Orientierung mit Komplexaugen schneller als mit
  einem Linsenauge
• Ist deren spezifische Signalverarbeitung
  technisch nutzbar?

4
Roboter Demonstrator/Mouche

• Vorbild Komplexauge und Flugverhalten der Fliege
• Kollisionsvermeidung in unbekannter Umgebung ohne
• Weltmodell
• Langzeitspeicher
• High-Level Reasoning

5
Komplexauge

• Zusammengesetzt aus Ommatidien (Einzelaugen)
• Ermöglicht nur musivisches Sehen (Mosaiksehen)
• Typen von Komplexaugen
• Appositionsauge
• Superpositionsauge
• Neurales Superpositionsauge

6
Komplexauge (Fortsetzung)

• Ommatidium besteht aus Cornea, Kristallkegel,
  Retinula und Rhabdom
• Cornea (flache Linse)
• Kristallkegel (Linse mit hoher Brechkraft)
• Retinula besteht aus 8 Sehzellen, deren
  Rhabdomeren bilden ein Rhabdom
• Rhabdom 2 Typen
• Offenes Rhabdom
• Geschlossenes Rhabdom

7
Aufbau von Komplexaugen
8
Bewegungssehen

• Registrieren von Bewegungen von Objekten
• Bewegung eines Objektes bewirkt Verlagerung des
  Bildes auf Retina
• Man erkennt, bei
• der Verfolgung von bewegten Objekte mit den
  Augen eine Bewegung der Objekte
• der Bewegung der Augen und unbewegten Objekten
• Aktive Augenbewegung keine Bewegung
• Passive Augenbewegung eine Bewegung

9
Reafferenzprinzip

• Erklärungsversuch für Bewegungssehen bei
  Linsenaugen, da neurologische Grundlage unbekannt
  ist
• Bei Augenbewegung wird okulomotorische Efferenz
  gespeichert (Efferenzkopie)
• Vergleich der Rückmeldung (Reafferenz) mit der
  tatsächlichen retinalen Bildverschiebung
• Bei Deckung von Efferenz und Reafferenz wird
  keine Bewegung gemeldet
• Bei Unterschieden wird eine Bewegung gemeldet

10
Schema des Reafferenzprinzips
11
Bewegungssehen bei Insekten

• Gut erforscht an der optomotorischen Reaktion des
  Rüsselkäfers
• 2 benachbarte Ommatidien arbeiten zusammen
• Die Zusammenarbeit
• ermöglicht Unterscheidung von Bewegung nach
  Richtung und Geschwindigkeit
• ohne Erfassung von Gestalt des Objektes

12
Bewegungssehen des Rüsselkäfers
13
Abstandsbestimmung anhand des optischen Flusses

• Optischer Fluß Verschiebung eines Bildes durch
  eine Bewegung
• Bestimmung der Winkelgeschwindigkeit durch
  Beobachtung des optischen Flusses
• Ermöglicht die Berechnung des Abstandes
• Leichter bestimmbar bei Komplexaugen

14
Kollisionsvermeidung der Fliege

• Basiert auf der Abstandsbestimmung und ihrem
  speziellen Flugstil
• Phasengesteuerter Flugstil
• Translationsphase
• Phase des Geradeausfliegens
• Zur Bestimmung des Abstandes anhand des optischen
  Flusses
• Sakkaden
• Phase mit hoher Winkelgeschwindigkeit
• Zum Ausweichen von Hindernissen

15
Bewegungsbeispiel(1)
16
Bewegungsbeispiel(2)
17
Bewegungsbeispiel(3)
18
Bewegungsbeispiel(4)
19
Bewegungsbeispiel(5)
20
Bewegungsbeispiel(6)
21
Demonstrator

• Sichtbasierte Navigation beruht auf grober
  Abschätzung des selbstherbeigeführten optischen
  Flusses
• Adaptiert
• Komplexauge der Fliege
• Abstandsbestimmung der Insekten
• Flugverhalten der Fliege
• Parallele, analoge Signalverarbeitung

22
Aufbau des Demonstrators

• Zieldetektor optische Sensoren zur Erfassung des
  Zieles
• Kompositauge Schichten
• Optik
• Photorezeptoren
• Lokale Bewegungsdetektoren
• (Local Motion Detector LMD)
• Kollisionsvermeidung
• Synchron angetriebene Kreisplattform

23
Visomotorisches System

• Parallele Verarbeitung identischer Kanäle
• Je 2 optische Sensoren (1 Kanal) speisen ein LMD
• Jedes LMD gibt ausgewertete Bewegung an ein
  Elementary Behaviour Circuit (EBC) weiter
• Jedes EBC und der Zieldetektor schlagen neue
  Orientierung und Geschwindigkeit vor
• Tatsächliche Orientierung und Geschwindigkeit
  resultieren aus den Berechnungen der EBCs und des
  Zieldetektors

24
Abstandsbestimmung

• Zur Abstandsbestimmung 2 Facetten (Polarwinkel j
  und jDj)
• Abstand eines Punktes P D(jDj) läßt sich aus der
  momentanen Geschwindigkeit und der Zeit, die
  dieser Punkt benötigt, um beide Achsen zu
  passieren, berechnen

25
Sichtweite

• Geschwindigkeitsabhängig
• Sinusabhängig
• Bei gleichem Abstand der optischen Achsen Þ keine
  kreisförmige Sicht
• Lösung Fester Faktor G
• unterschiedliche Dj
• kreisförmige Sicht

26
Toter Bereich

• Problem bei jlt10 bzw. j-180lt10 wird sinj
  klein
• Einzelauge kann keinen optischen Fluß mehr
  wahrnehmen
• Lösung 2 zusätzliche LMDs decken den vorderen,
  toten Bereich peilend ab

27
LMD-Paar im toten Bereich

• Jedes LMD hat 15 optische Achsen
• Optische Achsen/Zentren
• sind beweglich
• anpassbar an die aktuelle Sichtweite/Geschwindigke
  it
• Bewegungsdetektion erfolgt wie bei restlichen LMDs

28
Bewegungsdetektion

• Je 2 Photorezeptoren (2 Kanäle) sind mit einem
  LMD verschaltet
• LMD extrahiert passierende Kontraste und mißt die
  Zeit ihrer Passage
• Kontrast auf Kanal 1 löst Flanke aus
• Kontrast auf Kanal 2 setzt diese wieder zurück
• Resultierendes Signal entspricht der
  Zeitverzögerung beider Kanäle
• Signal wird bis zum Ende der Translation
  gespeichert, falls keine neuen Kontraste erkannt
  werden
• Prioritätsschaltung bevorzugt nähere Kontraste

29
Elementares Verhalten

• Jeder EBC ist zuständig für 1 optische Achse j
  bzw. LMD
• EBC erhält gemessene Zeit von LMD
• EBC berechnet hieraus
• eine Ausweichgeschwindigkeit, so daß der neue
  Sichtradius das Hindernis tangiert
• einen Ausweichwinkel b bedingt durch die
  Anziehung des Ziels und der Abstoßung des
  Hindernisses
• j-b Rechtspassage und jb Linkspassage

30
Elementares Verhalten (Fort.)

• Berechnung der Ausweichgeschwindigkeit
• mit

31
Multisensorfusion

• Gewählte neue Geschwindigkeit bzw. Orientierung
  berechnen sich aus den Vorschlägen der EBCs und
  des Zieldetektors ZD
• Geschwindigkeitsvorschlag des Zieldetektors

32
Multisensorfusion

• Wahl der Geschwindigkeit
• Minimum der Geschwindigkeitsvorschläge der EBCs
  und des ZDs
• beschränkt durch minimale/maximale
  Geschwindigkeit
• Wahl der Orientierung
• Getrennte Berechnung für Links- und
  Rechtsrotationen
• Berechnung des Schnittes aller Links- bzw.
  Rechtsrotationen
• neue Orientierung entspricht dem Minimum der
  Beträge der beiden Schnitte

33
Wahl des nächsten Schrittes

• Rotationen nur
• bei minimaler Geschwindigkeit
• nach einer Translation mit Minimalgeschwindigkeit
• Ansonsten erfolgt eine Translation
• Hieraus ergibt sich eine Einteilung in Phasen

34
Einteilung der Phasen

• Beschleunigungsphase
• Roboter beschleunigt schrittweise bis zur
  Maximalgeschwindigkeit
• Visuelle Annäherungsphase
• Bei Erkennung eines Hindernisses bremst der
  Roboter ab
• Hindernis bleibt aber immer in Sichtweite
• Ausweichphase
• Nach einer Translation mit minimaler
  Geschwindigkeit
• Beliebige Orientierungsänderung möglich, solange
  Geschwindigkeit minimal bleibt

35
Wandverfolgung (1)
36
Wandverfolgung (2)
37
Verlassen von Sackgassen

• Der fehlende Kartenaufbau und das
  Abstoßungs/Anziehungsprinzip legen ein
  Gefangenwerden in Sackgassen nahe
• Das resultierende Bewegungsverhalten führt zur
  nahen Passage von Hindernissen bzw.
  Wandverfolgung
• Der Prozeß der automatischen Wand-verfolgung
  verhindert das Gefangenwerden

38
Wälder von Hindernissen
39
Fazit

• Linsenaugen sind nicht immer ideal
• Wenig Pixel genügen für gute und schnelle
  Orientierung
• Raumbewegungs-Detektion teilweise wichtiger als
  Raumbild-Detektion
• Parallele und analoge Signalverarbeitung arbeitet
  effizient, sogar mit unpräzisen Komponenten
• Zu vielen Problemen der Robotik gibt es bereits
  gute Lösungen in der Natur

40
Quellennachweis

• Franceschini, N. Pichon, J.-M. Blanes, C.
  "Real time visuomotor control from flies to
  robots". Proc of the International Conference on
  Advanced Robotics, pp. 931-935, 1991
• Martin, N. Franceschini, N. "Obstacle avoidance
  and speed control in a mobile vehicle equipped
  with a compound eye". Proc of the Intelligent
  Vehicles '94 Symposium, pp. 381-386, 1994
• Nachtigall, W. Vom Fliegenauge zur
  Roboter-Orientierung Bionik der
  Signalverarbeitung. Bionik Grundlagen und
  Beispiele für Ingenieure und Naturwissenschaftler,
  Springer-Verlag, pp. 189-193, 2002
• Srinivasan, M. V. Poteser, M. Kral, K. "Motion
  detection in insect orientation and navigation".
  Vision Research 39, pp.2749-2766, 1999
• Penzling,H. Ausgewählte Kapitel, Lehrbuch der
  Tierphysiologe, 6.Auflage Gustav Fischer Verlag,
  pp.453-484, 1996