Codage vido scalable par maillages et ondelettes t 2D

1
Codage vidéo scalable par maillages et ondelettes
t2D

• Nathalie Cammas
• thèse Cifre France Télécom RD/IRISA

2
Contexte de l étude

• Transmission de données vidéo sur réseaux
• ressources hétérogènes
• réseaux (mobile, ADSL, )
• terminaux
• ressources limitées
• Nouvelle fonctionnalité
• adaptation d un flux compressé aux ressources
  utilisées pour la transmission et la
  visualisation
• Améliorer les schémas de codage existants
• Améliorer la décorrélation temporelle
• Utilisation des ondelettes
• compression
• scalabilité

3
Contexte de l étude

• Plan
• Schémas classiques de codage vidéo
• Schémas de codage vidéo par ondelettes état de
  l art
• Schéma de codage proposé
• Conclusion et perspectives

4
Principe d un codeur vidéo

• Codeurs MPEG-x, H26x
• estimation mouvement basée blocs
• prédiction par compensation en mouvement
• codage erreur de prédiction par DCT
• Q, codage entropique
• boucle fermée pour limiter l effet de dérive

5
Codeur vidéo état de l art

• H264-MPEG AVC
• outils optimisés
• jusquà 5 références pour la prédiction des
  images P et B
• taille de blocs adaptative
• précision sous-pixellique 1/8e
• codage arithmétique CABAC
• optimisation débit/distorsion
• champ de mouvement
• mode de codage
• boucle de filtrage adaptatif
• sur les images reconstruites
• sur les images de prédiction
• Avantage
• meilleures performances
• Limitation
• augmentation de la complexité

6
La scalabilité, définitions et exemples

• Définitions
• possibilité de représenter un signal à différents
  niveaux d information
• permet d adapter un signal aux capacités des
  réseaux de transmission et aux ressources des
  terminaux de visualisation
• Différentes scalabilités
• SNR (qualité), spatiale, temporelle, complexité
• Notion de qualité de service
• qualité minimale
• progressivité
• protection dans les transmissions
• adaptation aux ressources

7
La scalabilité, définitions et exemples

• Définitions
• possibilité de représenter un signal à différents
  niveaux d information
• permet d adapter un signal aux capacités des
  réseaux de transmission et aux ressources des
  terminaux de visualisation
• Différentes scalabilités
• SNR (qualité), spatiale, temporelle, complexité
• Notion de qualité de service
• qualité minimale
• progressivité
• protection dans les transmissions
• adaptation aux ressources

8
La scalabilité dans un schéma de codage vidéo
classique

• Mise en uvre de la scalabilité au sein d un
  codeur vidéo classique
• scalabilité temporelle insertion/suppression
  d images P ou B
• recherche rapide sur DVD
• scalabilité spatiale, qualité
• en couches une couche de base des couches de
  raffinement (2 ou 3)
• raffinement codé par rapport à une
  résolution/qualité inférieure
• scalabilité à grain fin (SNR) MPEG-4 FGS
• une couche de base une couche de raffinement
  progressive (codée par plans de bits)

9
La scalabilité dans un schéma de codage vidéo
classique

• Limitations
• chute des performances
• scalabilité limitée
• Comment faire mieux ?
• Compression
• améliorer la décorrélation temporelle
• prédiction vs transformation
• Scalabilité
• utiliser des outils offrant une scalabilité
  naturelle les ondelettes

10
Les ondelettes en vidéo

• Les ondelettes
• outil offrant une représentation hiérarchique
• décomposition dun signal
• informations importantes (basses fréquences)
• détails (hautes fréquences)
• efficacité en terme de décorrélation
• transformation orthogonale
• optimisation débit/distorsion aisée
• EZW, SPIHT, JPEG-2000
• En vidéo
• transformation ondelettes sur les trois axes de
  la vidéo
• SPHIT 3D

11
Les ondelettes en vidéo

• Nécessité d exploiter le mouvement dans la
  décorrélation temporelle
• sans mouvement
• avec mouvement

12
Etat de l art codage vidéo ondelettes 3D

• Mouvement global
• TaubmanZackor 94
• pré-alignement des images
• mauvaise décorrélation, images floues
• Mouvement par blocs
• Ohm 94 puis ChoiWoods 99
• filtrage temporel sur des blocs déplacés
• apparition de pixels déconnectés ou multiplement
  connectés
• limite aux filtres courts (Haar)
• transformée non réversible avec mouvement
  sous-pixellique

13
Etat de l art codage vidéo ondelettes 3D

• Mouvement par blocs
• Introduction du lifting
• permet la réversibilité de la transformée si
  mouvement sous-pixellique
• SeckerTaubman 01
• mouvement avant et arrière
• plus de pixels non connectés
• coût de mouvement important

14
Etat de l art codage vidéo ondelettes 3D

• Mouvement par blocs
• Introduction du lifting
• permet la réversibilité de la transformée si
  mouvement sous-pixellique
• SeckerTaubman 01
• mouvement avant et arrière
• plus de pixels non connectés
• coût de mouvement important

15
Etat de l art codage vidéo ondelettes 3D

• Problèmes rencontrés
• Réversibilité de la transformée
• liée à la précision du mouvement
• transformation lifting
• Discontinuité du mouvement
• apparition de pixels déconnectés
• double champ de mouvement
• Coût du mouvement
• bloc de taille adaptative
• mouvement par maillage
• codage scalable
• Inversion du champ de mouvement
• Barbell lifting
• mouvement par maillage SeckerTaubman 02

16
Etat de l art codage vidéo ondelettes 3D

• Problèmes rencontrés
• Réversibilité de la transformée
• liée à la précision du mouvement
• transformation lifting
• Discontinuité du mouvement
• apparition de pixels déconnectés
• double champ de mouvement
• Coût du mouvement
• bloc de taille adaptative
• mouvement par maillage
• codage scalable
• Inversion du champ de mouvement
• Barbell lifting
• mouvement par maillage SeckerTaubman 02

17
Etat de l art codage vidéo ondelettes 3D

• Problèmes rencontrés
• Réversibilité de la transformée
• liée à la précision du mouvement
• transformation lifting
• Discontinuité du mouvement
• apparition de pixels déconnectés
• double champ de mouvement
• Coût du mouvement
• bloc de taille adaptative
• mouvement par maillage
• codage scalable
• Inversion du champ de mouvement
• Barbell lifting
• mouvement par maillage SeckerTaubman 02

18
Schéma proposé lapproche analyse-synthèse

• Rupture avec les schémas classiques
• changement de domaine de représentation
• synthèse 3D
• modèle maillé de la scène ensemble de textures
• notre approche
• mouvement représenté par un maillage
• textures dynamiques
• reconstruction par projection de la texture sur
  le maillage

19
Schéma proposé lapproche analyse-synthèse

• Schéma de codage
• Analyse
• estimation du mouvement
• décorrélation mouvement/texture
• Codage séparé de chaque information par ondelette
  t2D
• Synthèse
• reprojection de la texture sur sa grille
  d échantillonnage initiale

Codage Texture
Codage Mouvement
(Codage Forme)
20
Schéma proposé lapproche analyse-synthèse

• Avantages du schéma
• représentation du mouvement par les maillages
• mouvement plus général, plus fin
• mouvement inversible
• représentation hiérarchique
• coût de codage faible
• suivi continu long terme de la texture, adapté
  pour la transformée en ondelettes
• indépendance mouvement/texture
• codage indépendant
• codage mouvement avec pertes
• régions d intérêts définies dans le domaine
  texture
• sous-échantillonnage, sur-échantillonnage
  mouvement/texture
• exemple restitution à plus haute fréquence
  temporelle

21
Schéma proposé la phase d analyse

• Estimation du mouvement
• estimation t,t1
• accumulation et raffinement 1,t1
• Décorrélation mouvement/texture
• projection sur des grilles d échantillonnage de
  référence
• GOF recouvrant référencesimages partagées
• image t plaquée sur la référence la plus proche

1 GOF
22
Schéma proposé structure du flux

• Découpage en GOF
• GOF recouvrant
• Codage en deux couches
• Couche de base
• Couche de raffinement scalable

23
Schéma proposé structure du flux

• Couche basse
• texture première image si GOF intra
• texture dernière image (prédiction ou mode intra)
• mouvement dernière image
• permet de reconstruire une version basse qualité
  de la séquence
• interpolation des images intermédiaires

24
Schéma proposé structure du flux

• Couche de raffinement scalable ondelettes 3D
• raffinement des images extrêmes (résidus de
  codage)
• raffinement des images intermédiaires (résidus)
• ondelette temporelle sur les résidus
  dinterpolation
• texture filtre 5/3 lifting
• Codeur ondelettes spatiales progressif
• ondelettes spatiales
• texture noyau de JPEG-2000 avec différents
  niveaux de décomposition suivant le type de la
  sous-bande
• codage des sous-bandes spatio-temporelles
• texture codage progressif EBCOT

25
Schéma proposé codage du mouvement avec pertes

• Codage mouvement similaire à celui de la texture
• transformée temporelle filtre 9/7 Daubechies
• transformée spatiale transformée ondelette sur
  maillage
• codage progressif par plans de bits avec
  optimisation débit/distorsion
• Mouvement scalable
• adaptation de la distorsion de mouvement à la
  résolution de restitution
• erreur D au format SD équivaut à 4D en CIF, et
  16D en QCIF
• Mouvement codé avec pertes
• dégradation visuelle non gênante
• gain du mouvement répercuté sur la texture
• amélioration de la qualité visuelle
• Mesure de qualité objective
• PSNR biaisé
• par les pertes sur le mouvement
• par la reconstruction dans des formats
  sous-échantillonnés
• PSNR texture
• similaire au Core Experiment 3 (CE3 SVC-MPEG)

26
Résultats

• Comparaison avec un codeur non scalable
• H264-AVC
• PSNR texture

Séquence Container
Séquence Rue
27
Résultats

• Comparaison avec des codeurs scalables
• MC-EZBC
• transformée temporelle lifting (Haar) sur des
  blocs déplacés
• codage EZBC des sous-bandes temporelles
• codage scalable du mouvement
• Microsoft-Barbell
• transformée temporelle Barbell lifting
• codage EBCOT 3D des sous-bandes
• codage scalable du mouvement
• Poznan
• technique basée AVC
• codage en couches
• PSNR par rapport à la référence propre de chaque
  codeur

28
Résultats

• Courbes débit/distorsion City (SD, 60Hz)

29
Conclusion

• Schéma de codage vidéo scalable proposé
• analyse-synthèse
• décorrélation mouvement/texture
• ondelettes t2D
• efficacité en compression
• scalabilité
• codage du mouvement avec pertes
• répercussion sur la texture
• bonnes performances en compression
• bonnes performances en scalabilité
• limitations
• complexité opératoire
• manque de généricité (mouvement complexe)

30
Perspectives

• Codage des sous-bandes temporelles et des images
  d erreurs
• EZBC, EBCOT, EBCOT 3D
• ondelettes 2nde génération
• Répartition débit
• mouvement/texture
• couche basse/haute
• Gestion des occlusions dans le maillage
• étirements, tassements de mailles créent des
  motifs difficiles à coder
• prendre en compte les discontinuités du mouvement
  apparent dans la représentation par maillage