Speichereffizientes Level of Detail von komplexen Szenen mit Punkthierarchien

1
Speichereffizientes Level of Detail von komplexen
Szenen mit Punkthierarchien

• Verteidigung der Diplomarbeit von Marcus Timm

15. Januar 2008
2
Gliederung

• 1. Einleitung / Motivation
• Das Surfel-Billboard-Framework
• Speichereffizienz
• Konzept Umsetzung
• Zusammenfassung
• Ausblick

3
1. Einleitung / Motivation

• Interaktive 3D-Anwendungen
• heute viele Techniken für das Rendering
• Eine Kategorie dieser Techniken
• bildbasiertes Rendern (Imposter/Billboards)
• Diese Techniken benötigen viel Speicher
• Daher Neue Methoden der Speichereffizienz
  werden benötigt

4
2. Das Surfel-Billboard-Framework

• Programmierung
• C
• OpenGL
• Qt
• Autor
• Dr. ing. Mathias Holst

5
2. Das Surfel-Billboard-Framework
6
2. Das Surfel-Billboard-Framework

• Punktbasiertes Rendern
• Oberfläche von Objekt wird angenähert durch
  surface elements (Surfels)
• Vergleich
• Surfel-Billboards

7
2. Das Surfel-Billboard-Framework

• Bildbasiertes Rendern
• 3D-Objekte werden ersetzt durch Bilder
• Bilder z.B. RGBA oder Normal Maps
• Imposter / Billboard
• Vergleich
• Surfel-Billboards

8
2. Das Surfel-Billboard-Framework

• Hierarchisches LOD
• Fehlerwert bestimmt Schnitt durch die Hierarchie
• blickpunktabhängig (Orientierung von
  Surfel-Billboards und Blickrichtung)

9
3. Speichereffizienz

• Speicher sind in einer Hierarchie angeordnet
• Begrenzte Bandbreite und Zugriffszeit
• Festplatten zu RAM Faktor 10 !

6
10
3. Speichereffizienz

• Zeitliche Lokalität
• in einem gewissen Zeitfenster wird nur eine
  Untermenge der Daten benötigt
• Räumliche Lokalität
• Daten, deren Adresse nahe beieinander
  liegt werden benötigt
• Lokalität die Grundlage für Caching

11
3. Speichereffizienz

• Caching
• Betriebssystem nutzen oder eigenen Algorithmus
  umsetzen
• Betriebssystem
• Vorteil einfach, Nachteil geringe Kontrolle
• Eigener Algorithmus
• Out-of-Core-Algorithmus
• Vorteil maßgeschneidert, Nachteil aufwändig

12
4. Konzept und Umsetzung

• Caching erfordert teilweise Auslagerung
• Alle Bilddaten waren bisher in einem großen
  Textur-Atlas enthalten
• Daher Clusterung des Atlasses notwendig

13
4. Konzept und Umsetzung

• Clusterung
• Hierarchisch
• Räumlich
• Implementiert
• 3 hierarchische Clusterungen
• 1 räumliche Clusterung

14
4. Konzept und Umsetzung
15
4. Konzept und Umsetzung

• Räumliche Clusterung
• sehr kompliziert, da
• blickpunktabhängig
• Algorithmus
• siehe Diplomarbeit

16
4. Konzept und Umsetzung

• Clusterung, zweiter Teil
• Strategie zum Erzeugen der Cluster
• Möglichkeit 1 Wunschgröße für Textur
• Möglichkeit 2 Anzahl Billboards in Cluster
• Insgesamt 8 verschiedene Clusterungsarten

17
4. Konzept und Umsetzung

• Bisher Texturdaten nur im RAM
• NEU Texturdaten auslagerbar
• Erfordert neues Dateiformat
• Entwickelt Format HY2
• (bisher 2 Versionen implementiert, eine dritte
  wurde geplant)

18
4. Konzept und Umsetzung

• Prinzipieller Aufbau
• siehe Graphik
• Index-Tabelle entweder auf Festplatte oder im RAM
• Alle Daten im Binärformat

19
4. Konzept und Umsetzung

• Prefetching
• Daten vorzeitig laden und bereithalten, die erst
  in der Zukunft benötigt werden
• Ansatz 1 hierarchisches Prefetching
• Ansatz 2 Motion Prediction
• Problem
• erfordert asynchronen Dateizugriff

20
4. Konzept und Umsetzung

• Hierarchisches Prefetching
• Lade Vaterknoten und Kindknoten des aktuellen
  Schnittes in der Hierarchie
• Motion Prediction
• Antizipiere Kamera-Position in 0,5 Sekunden
• Berechnung Formeln der Kinetik (Physik)

21
4. Konzept und Umsetzung

• Verwaltung der Datenelemente (Chunks)
• Eigener Software-Cache
• Software-Cache
• Variable Größe (zur Laufzeit änderbar)
• Translation Lookaside Buffer (TLB)
• TLB
• Prinzip Übersetzen von relativen Adressen
• Benötigt für Verwaltung mehrerer Objekte

22
4. Konzept und Umsetzung

• Weitere Möglichkeiten für Speichereffizienz
• Kompression (Kompromiss zwischen Dekodierzeit und
  Platzverbrauch)
• Instanzen-Bildung

23
4. Konzept und Umsetzung

• Kompressionsverfahren
• Normal Maps komprimieren
• Speichere 2 Repräsentanten in einer
  Lookup-Tabelle (Quantisierungstabelle)
• Ersetze Normale durch Index
• Prinzip Vektorquantisierung

15
24
4. Konzept und Umsetzung

• Kompression an 2 Orten möglich
• Zwischen Festplatte und RAM
• Zwischen RAM und Graphikkarte (Shader)
• Beide Ansätze implementiert und getestet
• Ergebnis
• Nur 25 des Speicherverbrauchs
• Kaum merkbare Geschwindigkeitsverluste

25
4. Konzept und Umsetzung

• Instanzenbildung
• Mehrere gleichartige 3D-Objekte teilen sich den
  gleichen Speicher
• Vorteil wenn Szene hat gleichartige Objekte
  (hohe Selbstähnlichkeit)
• Implementiert und für Testszenario verwendet

26
4. Konzept und Umsetzung

• Trennung zwischen Ladevorgang und
  Navigations-Prozess
• Parallele Programmierung
• Nutzen von Thread-Programmierung
• Verwende Qt-Klasse für Threads (QThread)

27
4. Konzept und Umsetzung

• Testumgebung für Testszenarios
• Kompletter Szenegraph
• View-Frustum-Culling
• Elegante Kamera-Steuerung
• Möglichkeit der Instanzenbildung
• Innovativer Shader für Terrains

28
5. Zusammenfassung

• Methoden der Speichereffizienz für das
  Surfel-Billboard-Framework
• Clusterungs-Strategien, Prefetching,
  Software-Cache, Kompression, Instanzenbildung
• Testumgebung (Szenegraph) für Untersuchungen und
  Demonstration

29
6. Ausblick

• Weitere Möglichkeiten für Clusterung
• Weitere Möglichkeiten für Kompression
• Parallelen, asynchronen Dateizugriff besser
  implementieren (bisher viele Fehler)
• Geometrie-Daten ähnlich wie Texturdaten auch auf
  Festplatte auslagern

30

• Vielen Dank für ihre Aufmerksamkeit!