Compression adaptative de surfaces par ondelettes gomtriques

1
Compression adaptative de surfaces par ondelettes
géométriques

• Céline ROUDET
• croudet_at_liris.cnrs.fr

Thèse dirigée par F. DUPONT et A.
BASKURT Collaboration avec P. GIOIA dOrange Labs
Projet  CoSurf  (Compression de Surfaces)
23 avril 2009 Séminaire du LAIC Clermont-Ferrand
2
Contexte

• Le projet  CoSurf 
• Collaboration avec Orange Labs Rennes
• Favoriser léchange de données 3D
• Compression multirésolution de maillages 3D
• Points critiques
• Adaptation du transfert des données aux
  ressources
• Transmission rapide, à la demande
• Consultation efficace et flexible

3
Contexte (2)

• Modèles géométriques 3D
• Explosion de leur production / échange
• Grande diversité de modélisations
• Maillages surfaciques
• De plus en plus précis et détaillés
• Répartition irrégulière des échantillons

4
Plan
I - Cadre II - TO III -
Approche proposée IV - Résultats

• I Cadre des travaux
• Les maillages multirésolution
• Compression de maillages lexistant
• Analyse multirésolution lexistant
• II La transformée en ondelettes
• III Approche proposée
• IV Résultats et applications
• V Conclusion et perspectives

5
Maillages triangulaires
I - Cadre II - TO III -
Approche proposée IV - Résultats
V Vi (xi, yi, zi) ? R3 / 0 i ltV F Fi
j, k, l ? Z3 / 0 i ltF

• Régularité du voisinage
• liée à la valence (s) des sommets

6
Représentation progressive
I - Cadre II - TO III -
Approche proposée IV - Résultats

• Intérêt des représentations multirésolution
• Adaptation aux réseaux et terminaux
• Efficacité en termes de rendu

• Plusieurs représentations possibles
• Surfaces de subdivision Doo et Sabin, 78
  ondelettes Lounsbery, 97

• Raffinement progressif Hoppe, 96, Gandoin et
  Devillers, 02

7
Compression de maillages lexistant
I - Cadre II - TO III -
Approche proposée IV - Résultats
Schémas mono-résolution
0011010
Codage entropique
liste de symboles
Parcours du maillage
Connectivité
M
ordre
0011010
Codage entropique
Géométrie
Prédiction
Quantification
Entre 1 et 2 octets/sommet Deering, 95, TG,
98, Rossignac, 99
Schémas multi-résolution
Codage progressif Hoppe, 96, Cohen-Or et al.,
99, Gandoin et Devillers, 02 2 octets / s
Compression spectrale Karni et Gotsman, 00,
Sorkine et al., 05 Compression par
ondelettes Lounsbery, 97, Guskov et al., 99,
Khodakovsky et al., 00 2 - 4 bits /
s
8
Compression en ondelettes lexistant
I - Cadre II - TO III -
Approche proposée IV - Résultats

• Directement sur un échantillonnage irrégulier
• Taubin, 95, Guskov et al., 99, Valette et
  Prost, 02
• Après remaillage régulier
• Gu et al., 02, Sander et al., 03, Praun et
  Hoppe, 03
• Après remaillage semi-régulier
• Prédiction par interpolation
• Khodakovsky et al., 00, Khodakovsky et Guskov,
  03, Lavu et al., 03, Payan et Antonini, 05
• Prédiction par approximation
• Bertram, 04, Li et al., 04, Sauvage, 05

9
Plan
I - Cadre II TO ? Théorie
III - Approche proposée IV -
Résultats

• I Cadre des travaux
• II La transformée en ondelettes
• Théorie de la transformée en ondelettes
• Les ondelettes en 3D
• Le remaillage semi-régulier
• III Approche proposée
• IV Résultats et applications
• V Conclusion et perspectives

10
Lanalyse multirésolution
I - Cadre II TO ? Théorie
III - Approche proposée IV -
Résultats
H
L
1/4
1/2
f
L
L
½ ½
H
H
1 -1
M0
Mm-1
Mm

L
L
L
H
H
H
détails
détails
détails
11
Ondelettes géométriques
I - Cadre II TO ? 3D
III - Approche proposée IV -
Résultats
Mallat, 89

• Généralisation des bancs de filtres
• Analyse multirésolution spatiale

• Avantages
• Coûts de calcul réduits
• Filtres simplifiés
• Analyse et synthèse en temps linéaire

12
En pratique
I - Cadre II TO ? 3D
III - Approche proposée IV -
Résultats
pair
impair
Mn
Mn-1
13
Remaillage semi-régulier
I - Cadre II TO ? Remaillage
III - Approche proposée IV -
Résultats

• Propice à lapplication dune transformée en
  ondelettes
• Grande partie de la connectivité implicite
• Réduction de lerreur de reconstruction dun
  facteur 4

Maillage semi-régulier
Maillage irrégulier
Msr
Mir
Mn original
112 642 sommets
48 485 sommets
14
Intérêt des ondelettes et du remaillage
I - Cadre II TO ? Remaillage
III - Approche proposée IV -
Résultats
Distribution de la position des sommets
Distribution de lamplitude des coefficients
dondelettes
Densité quasi uniforme entropie élevée
Densité isolée entropie plus faible
Distribution de langle polaire des coefficients
dondelettes
MAPS Lee et al., 98
Normal Mesh Guskov et al., 00
Repère local
Repère global
Repère local
15
Plan
I - Cadre II - TO III -
Approche proposée ? Analyse IV -
Résultats

• I Cadre des travaux
• II La transformée en ondelettes
• III Approche proposée
• Analyse ondelettes globale
• Segmentation multirésolution
• Analyse ondelettes locale
• Reconstruction adaptative
• IV Résultats et applications
• V Conclusion et perspectives

16
Schéma de notre approche
Codage local
Segmentation multirésolution
Analyse locale
Analyse globale
Remaillage
Classification
flux binaire
patchs
modèle 3D irrégulier
modèle 3D semi-régulier
coefficients dondelettes
clusters
niveaux de résolution
flux binaire
Décodage local
Recollage grossier
Synthèse locale
Visualisation
17
Analyse ondelettes globale
I - Cadre II - TO III -
Approche proposée ? Analyse IV -
Résultats
Remaillage Normal
Niveau n-2
Schéma Butterfly non lifté
x10
18
Amplitude des ondelettes
I - Cadre II - TO III -
Approche proposée ? Analyse IV -
Résultats
Représentation multirésolution
Pondération multirésolution
Niveau n-1
Niveau n-2
Niveau n-3
Niveau n-1
Niveau n original

19
Calcul de pondération N1
I - Cadre II - TO III -
Approche proposée ? Analyse IV -
Résultats
Niveau m Niveau m-1 Niveau m-2
Niveau m
Niveau m-1
Niveau m-2

Niveau m
Niveau m
Niveau m-1
Pondération multirésolution
20
Calcul de pondération N2
I - Cadre II - TO III -
Approche proposée ? Analyse IV -
Résultats
Pondération multirésolution
642 s
Niveau m1
Niveau m2
Niveau m3
Niveau m
grossière
40962 s
fine
21
Plan
I - Cadre II - TO III -
Approche proposée ? Segmentation IV -
Résultats

• I Cadre des travaux
• II La transformée en ondelettes
• III Approche proposée
• Analyse ondelettes globale
• Segmentation multirésolution
• Analyse ondelettes locale
• Reconstruction adaptative
• IV Résultats et applications
• V Conclusion et perspectives

22
Schéma de notre approche
Codage local
Segmentation multirésolution
Analyse locale
Analyse globale
Remaillage
Classification
flux binaire
patchs
modèle 3D irrégulier
modèle 3D semi-régulier
coefficients dondelettes
clusters
patchs
niveaux de résolution
flux binaire
Décodage local
Recollage grossier
Synthèse locale
Visualisation
23
Classification et croissance de régions
I - Cadre II - TO III -
Approche proposée ? Segmentation IV -
Résultats
sommets, arêtes ou facettes
Angle polaire
Angle polaire
Classification (K-means) en 2 clusters
Amplitude
Amplitude
Amplitude
sommets
facettes
K2
Croissance de régions
Analyse globale
Niveau n original
Niveau n-1
Niveau n-1
Angle polaire
24
Projection grossière des clusters
I - Cadre II - TO III -
Approche proposée ? Segmentation IV -
Résultats
Niveau n (original)
Niveau n-5
Niveau n-1
Projection grossière
Projection fine
Extraction des régions
t0
t2
Niveau n-4
Niveau n-5
Niveau n-2
25
Projection fine des clusters
I - Cadre II - TO III -
Approche proposée ? Segmentation IV -
Résultats
Niveau n (original)
Niveau n-5
Niveau n-1
Projection grossière
Projection fine
Extraction des régions
classification initiale
Niveau n-2
Niveau n-4
Niveau n-5
26
Comparaison des segmentations
I - Cadre II - TO III -
Approche proposée ? Segmentation IV -
Résultats
Calcul de pondération N1 Projection
grossière Projection fine
11 régions
Amplitude Classification
Croissance Projection grossière
Projection fine
Calcul de pondération N2 Projection fine
5 régions
27
Comparaison des segmentations (2)
I - Cadre II - TO III -
Approche proposée ? Segmentation IV -
Résultats
Calcul de pondération N1 Projection
grossière Projection fine
11 régions
6 régions
6 régions
Calcul de pondération N2 Projection fine
5 régions
9 régions
5 régions
28
Plan
I - Cadre II - TO III -
Approche proposée ? Codage IV -
Résultats

• I Cadre des travaux
• II La transformée en ondelettes
• III Approche proposée
• Analyse ondelettes globale
• Segmentation multirésolution
• Analyse ondelettes locale
• Reconstruction adaptative
• IV Résultats et applications
• V Conclusion et perspectives

29
Schéma de notre approche
Codage local
Analyse locale
Segmentation multirésolution
Analyse globale
Remaillage
Classification
flux binaire
patchs
modèle 3D irrégulier
modèle 3D semi-régulier
coefficients dondelettes
clusters
niveaux de résolution
flux binaire
Décodage local
Recollage grossier
Synthèse locale
Visualisation
30
Intérêt de lanalyse / codage indépendants
I - Cadre II - TO III -
Approche proposée ? Codage IV -
Résultats
Connectivité
00110101
Codage arithmétique
liste de symboles
Géométrie
Touma et Gotsman, 98
0110
Codage arithmétique
Quantification
zerotree

Connectivité
10101101
Codage arithmétique
liste de symboles
Géométrie
1010
Codage arithmétique
Quantification
Khodakovsky et al., 00

• codage des informations relatives au
  partitionnement
• nb régions, type de cluster, filtres utilisés,
  compressé sans perte

31
Plan
I - Cadre II - TO III -
Approche proposée ? Reconstruction IV
- Résultats

• I Cadre des travaux
• II La transformée en ondelettes
• III Approche proposée
• Analyse ondelettes globale
• Segmentation multirésolution
• Analyse ondelettes locale
• Reconstruction adaptative
• IV Résultats et applications
• V Conclusion et perspectives

32
Schéma de notre approche
Codage local
Analyse locale
Segmentation multirésolution
Analyse globale
Remaillage
Classification
flux binaire
patchs
modèle 3D irrégulier
modèle 3D semi-régulier
coefficients dondelettes
clusters
niveaux de résolution
flux binaire
Décodage local
Recollage grossier
Synthèse locale
Visualisation
33
Plan
I - Cadre II - TO III -
Approche proposée IV - Résultats
I Cadre des travaux II La transformée en
ondelettes III Approche proposée IV Résultats
et applications V Conclusion et perspectives
34
Comparaisons visuelles
I - Cadre II - TO III -
Approche proposée IV - Résultats
Lavoué, 06
Variance de la courbure
Différence de normales
Remaillage Normal
Angle polaire 0, p/2
Angle polaire 0, p
Amplitude des coefficients
Roudet, 08
schéma Butterfly
schéma midpoint
35
Mesure de la concavité / convexité
I - Cadre II - TO III -
Approche proposée IV - Résultats
Roudet et al., CORESA 09
36
Comparaison analyse globale / locale
I - Cadre II - TO III -
Approche proposée IV - Résultats
PSNR 20.log10 BBdiag / d BBdiag
diagonale de la boîte englobante
d distance de Hausdorff
37
Progressivité de la reconstruction
I - Cadre II - TO III -
Approche proposée IV - Résultats
6,54 bit / sommet
0,23 bit / sommet
0,68 bit / sommet
1,66 bit / sommet
38
Comparaison analyse globale / locale (2)
I - Cadre II - TO III -
Approche proposée IV - Résultats
PSNR 20.log10 BBdiag / d BBdiag
diagonale de la boîte englobante
d distance de Hausdorff
39
Progressivité de la reconstruction
I - Cadre II - TO III -
Approche proposée IV - Résultats
0,20 bit / sommet
1,27 bit / sommet
4,92 bit / sommet
0,57 bit / sommet
40
Optimisation du compromis débit/distorsion
Analyse locale
Codage entropique
Codage zerotree ou contextuel
Débit ou distorsion cible
flux binaire
zerotree
Patchs semi-réguliers
Maillage semi-régulier segmenté
Collaboration avec Marc ANTONINI et Frédéric
PAYAN I3S Sophia Antipolis
niveaux de résolution
flux binaire
Décodage entropique
Synthèse locale
Q

41
Comparaison perceptuelle
I - Cadre II - TO III -
Approche proposée IV - Résultats
Reconstruction adaptative
Reconstruction globale
6565
e1 distance de Hausdorff obtenue par Mesh
Aspert et al., 02 (x 10-4) e2 métrique
asymétrique Mesh Structural Distorsion Measure
Lavoué et al., 06 distance perceptuelle entre
2 objets (0 objets identiques)
42
Autres applications
I - Cadre II - TO III -
Approche proposée IV - Résultats
Reconstructions adaptatives
Reconstruction adaptative
Analyse globale
Pond. N1
Pond. N2
avec prédiction sans prédiction
e erreur (x 10-4)

• Transmission et reconstruction adaptative
• Visualisation sélective (ROI)
• Débruitage et tatouage adaptatifs
• Correction d'erreurs lors de la transmission canal

43
Visualisation sélective par ROI
I - Cadre II - TO III -
Approche proposée IV - Résultats
Roudet et al., SPIE Wavelet Applications in
Industrial Processing VI, 2009
11 967 octets
5 181 octets
44
Plan
I Cadre des travaux II La transformée en
ondelettes III Approche proposée IV Résultats
et applications V Conclusion et perspectives
45
Contributions

• Remaillage semi-régulier
• Comparaison de plusieurs méthodes de létat de
  lart
• Analyse en ondelettes
• Comparaison de schémas de prédiction
  interpolants
• Mesure de rugosité basée sur les ondelettes
• Nouveau schéma danalyse indépendante sur des
  patchs
• Segmentation de maillages triangulaires
• Adaptation dun algorithme existant sur des
  critères de rugosité
• Nouveau schéma de segmentation multirésolution
• Codage de maillages
• Adaptation dun codeur zerotree pour un ensemble
  de patchs
• Compression de maillages
• Méthode générique de compression adaptative

46
Perspectives

• Remaillage semi-régulier
• Privilégiant les directions de courbure ou de
  texture
• Analyse en ondelettes
• Schémas de prédiction dans les zones non lisses
• basés sur les directions de courbure ou les
  approches fractales
• Segmentation de maillages triangulaires
• Augmenter le nombre de clusters durant la
  classification
• Codage de maillages
• Eviter la redondance au niveau des frontières de
  patchs
• Optimiser la quantification et lallocation
  binaire de chaque région
• Applications
• Transmission et décodage par région dintérêt
  (ROI)
• Débruitage et tatouage adaptatifs

47
Questions

• Merci de votre attention !