Computer Vision1_Seite 1

1
Computer Vision
Prof. Dr. Norbert Link Beiträge von L. Berger
W. Enkelmann M. Esswein F. Heimes N.
Heinze A. Korn W. Krüger M. Müller G.
Saur N. Rehfeld
2
Inhalt

• Einführung
• Szeneninterpretation
• Bildentstehung
• Informationsgewinnung aus Einzelbildern
• Merkmalsextraktion
• Merkmalsauswertung
• Koordinatensysteme
• Sensorkalibrierung
• Freiheitsgradschätzung
• Informationsgewinnung aus Bildfolgen
• Objektverfolgung
• Verschiebungsvektorfelder
• Bewegungsschätzung
• Bildauswertungskomponenten im System
• Zusammenfassung und Ausblick

3
Überblick Einführung

• Was ist ein Bild?
• Anwendungsbeispiele
• Zielsetzung und Vorgehensweise
• Bildauswertungskomponenten Detektion im
  BildLokalisierung in der WeltVerfolgungIdentifi
  kationAnalyse
• Bildauswertungskomponenten im System
• Zusammenfassung

4
Was ist ein Bild? Einführung
Ausschnitt
Mikrowellen-Radar-Bild der Venus
Picture element Pixel Koordinaten Zeile i
151, Spalte j 55 Grauwert g 208 g(151,55)
208
Präsentation im Computer
5
Was ist ein Bild? Einführung

• Obiges Bild
• 40.000 Helligkeitsmesswerte der Oberfläche der
  Venus
• angeordnet in einem Array mit 200 Spalten und
  200 Zeilen
• Werte werden nummeriert mit Zeilenindex j von 0
  ... 199 und Spaltenindex i von 0 ... 199
• Ursprüngliche Messwerte Rückgestreute
  Mikrowellenenergie des jeweiligen
  Venus-Oberflächenelements
• Bild repräsentiert die Messwerte durch Grauwerte
  0 ... 255 0 keine Energie rückgestreut ?
  schwarz, 255 maximale Energie rückgestreut ?
  weiß
• Allgemein
• Anzahl Zeilen und Spalten (Bildgröße)
  sensorabhängig (bis 12000 x 240000)
• Grauwerteanzahl (linearer Dynamikbereich)
  sensorabhängig (heute bis 16 bit)
• Ursprüngliche Messwerte sensorabhängig (z.B.
  emittierte Infrarot-Energie)
• Auch Volumenbilder sind möglich (3D-Anordnung
  von Grauwerten, z.B. CT)
• Farbbild enthält für jedes Pixel mehrere Werte
  (z.B. R G B)

6
Was ist ein Bild? Einführung
Von einem Weltpunkt rückgestreute Lichtenergie
Auf einen Bildpunkt auftreffende Lichtenergie

• Objektiv lenkt Lichtenergiestrom von einem
  Weltpunkt auf einen Bildpunkt der
  Sensorfläche.
• Sensor wandelt Lichtenergiestrom in
  elektrisches Signal.

7
Was ist ein Bild? Einführung
8
Was ist ein Bild?
CCD-Kamera-Chip Sensorfläche Ausleselogik
Ausschnitt Sensorelemente (Pixel), ca. 5
µm Abmessung
Kamera
Objekt
Objektiv
Bildsensor
9
Anwendungsbeispiele
Objektverfolgung aus Bildfolgen mit einer
statischen Kamera Freigelände-und
Gebäudeüberwachung Security Verkehr
Kundenströme
Hintergrundschätzung
bildpunktweise Detektion abweichender Grauwerte
Bildkoordinaten-Weltkoordinaten
Zusammenfassung zu Objekten
Objektverfolgung
Spurbildung
Spurauswertung
10
Objektverfolgung aus Bildfolgen mit mehreren
statischen KamerasLandungsüberwachung auf
Flughäfen
Anwendungsbeispiele
Übersichtskamera
Segmentkamera
Nachgeführte Detailkamera
Zusätzlich Transformation zwischen
Kamera-Koordinatensystemen
11
Anwendungsbeispiele

• Objektverfolgung identifizierung und analyse
  aus Bildfolgen
• Qualitätsprüfung
• Vollständigkeit
• Richtigkeit
• Maßhaltigkeit

Anbauteile- Mustervergleich
Flugzeug-Rumpfschalen-Produktion
Merkmalsextraktion für Nieten
Schätzung der Lageparam. Rumpfschale im
Kamera-Koordinatensystem
Anbauteile-Orientierung im Schalen-Koordinatensyst
em
Berechnung der sichtbaren Anbauteilkonturen in
Bildkoordinaten
Mustervergleich Bildausschnitt mit Referenzbild
12
Anwendungsbeispiele

• Objektdetektion, -lokalisierung, -erkennung und
  analyse aus Einzelbildern
• Luft- und Satellitenbildauswertung
• Landnutzung
• Umweltüberwachung
• Städtewachstum
• Aufklärung

Abrüstungskontrolle
Merkmalsextraktion aus dem Bild
Klassifikation der Merkmale
Merkmalsextraktion aus der Karte
Transformationsbestimmung Bild-Karte
Objektvermessung
13
Anwendungsbeispiele
Objektdetektion, -erkennung, -positions- und
lagemessung und -verfolgung in Bildsequenzen
statischer Kameras Flugzeug-Andockleitsysteme
Passagierbrücke
Einroll- leitlinie
Flughafengebäude
B 737-300
Rollfeld
Videokamera
Stopposition
Suche nach Flugzeugtemplate
Bild-Weltkoordinaten
Parameterschätzung (Lage und Position) durch
Modellanpassung
Display
Objektverfolgung
14
Anwendungsbeispiele

• Fahrspurverfolgung, Detektion und Verfolgung
  anderer Verkehrsteilnehmer
• aus Bildfolgen
• Fahrerassistenzsysteme
• Spurhalteassistent
• Automatische Cruise Control
• Kollissionswarner
• ...

Extraktion von Merkmalen der Fahrbahnmarkierung
Schätzung der Lageparam. Fahrspur im
Kamera-Koordinatensystem
Schätzung der Eigenbewegung der Kamera
Bewegungskompensation für Fahrbahnebene
Bewegungskompensiertes Differenzbild
Binarisierung des bew.komp. Differenzbildes
Datenfusion
15
Anwendungsbeispiele
Zusammenfassung
Bildauswertung ist ein universell einsetzbares
Werkzeug.

• Arten der Anwendung
• Emulation von Teilfähigkeiten
  menschlichen Sehens
• Quantitative Messung in Bildern
• Auswertung auch nicht-fokaler und
  nicht-optischer Sensoren
• Komplexität
• Aufgabenstellung
• Variationsbandbreite der Randbedingungen

gut
Quantitative Auswertung
Daten-Speicherung / -Zugriff
4
6
Computer- Fähigkeiten
Muster- erkennung
2
Sensorvielfalt
Kognitive Verarbeitung
Menschl. Fähigkeiten
schwach
gut
16
Anwendungsbeispiele
Zusammenfassung
Komponenten der Lösungen

• Sensoren
• Video sichtbar-optisch, focal plane array,
  Bildsequenz
• Radar nicht-optisch, nicht-fokal, scannend,
  Einzelbild
• Algorithmen
• Merkmalsextraktion
• Merkmalsanalyse Klassifikation,
  Templatematching
• Ballung
• Koordinatentransformation Welt-Bild,
  Welt-Karte, Bild-Bild
• Modell-Parameterschätzung
• Bewegungsschätzung
• Tracking
• Fusion