Repr

1
Représentation en objets vidéo pour un codage
progressif et concurrentiel des séquences
dimages

• Marc Chaumont

Encadrants H. Nicolas S. Pateux Équipe Temics
2
Contexte Pourquoi compresser le signal vidéo?
mchaumon 1 fibre optique 40 Gb/s

• Débit dun signal vidéo sans compression
• 237 Mb/s (télévision SDTV (images
  720x576))
• Volume dun signal vidéo sans compression
• 1,22 Térabits (1h1/2 de film)

? Nécessite de compresser ...
3
Contexte Une standardisation des codeurs
mchaumon MPEG1, Video CD, MP3 jusquà
1.5Mb/s MPEG 2, Digital Television, DVD MPEG4,
multimédia
mchaumon effort de recherche bien antérieur.
Traitement de limage, puis codeurs ... année 80
codeurs par régions (Kunt 85), année 90 codeurs
par objet et modèles. à coté de ces standard,
autre codeur proposé par le monde de la recherche
plus spécialisé, ou ayant des approches
différentes (objet, basés modèle) standard
permet de ce positionner par rapport à quelque
chose que tout le monde connaît.
4
Contexte Approches connexes

• Années 80, le codage par région
• MORPHECO Salembier et al. 95, ...

Image 50 séquence coastguard
valeur dintensité par région
carte des régions (carte de segmentation)
5
Contexte Approches connexes

• Années 80, le codage par région
• MORPHECO Salembier et al. 95, ...
• () basé sur des critères psychovisuels
• (-) une carte coûteuse à coder (nombreuses
  régions)
• (-) gestion difficile des occultations (car
  projection des cartes)
• (-) artefact de contour

6
Contexte Approches connexes

• Années 90, le codage OBASC
• (object-based analysis-synthesis coder)
• Codage par SPRITE MPEG4 Okada et al. 01
• Codage par couches Schwarz et al. 00 Han et
  al. 98
• Codage par modèle Hötter 90, Galpin 02,
  Eisert et al. 99

7
Contexte Approches connexes

• Années 90, le codage OBASC

Image 50 séquence coastguard
masque par objet ordre de profondeur
1 texture par objet pour un groupe dimages
8
Contexte Approches connexes

• Années 90, le codage OBASC
• () 1 masque par objet
• ? stable temporellement que lapproche région
• ? occultations mieux gérées (z-ordre)
• ? codage moins coûteux que lapproche région
• () 1 texture par objet pour un groupe
  dimages
• ? stable temporellement que lapproche région
• ? meilleure gestion des textures qui apparaissent

9
Contexte Principe du codage objet
1 - ANALYSE 2 - CODAGE 3 - DECODAGE
S E G M E N T A T I O N
reg1 ou obj1
S Y N T H E S E
répartition des débits entre objets
reg2 ou obj2
séquence reconstruite
1 - ANALYSE 2 - CODAGE 3 - DECODAGE
10
Contexte Par rapport au codage non objet ...

• Les difficultés
• la segmentation
• la répartition des débits
• la composition
• Les points intéressants
• la composition

composition dobjets vidéos
11
ContextePar rapport au codage non objet ...

• Les difficultés
• la segmentation
• la répartition des débits
• la composition
• Les points intéressants
• la composition
• la répartition des débits

répartition des débits visage 80 Kb/s fond
15 Kb/s forme 6 Kb/s
12
ContextePar rapport au codage non objet ...

• Les difficultés
• la segmentation
• la répartition des débits
• la composition
• Les points intéressants
• la composition
• la répartition des débits
• lestimation du mouvement est plus performante

codage non objet
codage objet
13
Contexte Par rapport au codage non objet ...

• Les difficultés
• la segmentation
• la répartition des débits
• la composition
• Les points intéressants
• la composition
• la répartition des débits
• lestimation du mouvement est plus performante
• compromis entre approche basée pixel et basée
  modèle

14
ContexteFil conducteur

• Le codage objet est-il intéressant ?
• Une réponse à travers 2 axes détude
• la comparaison du codage objet vs. non objet
• Étude du CODAGE DYNAMIQUE
• la segmentation en objets vidéo
• Étude de la SEGMENTATION

mchaumon CODAGE DYNAMIQUE je possède les
masques, quest-ce que je gagne par rapport au
codage non objet ? SEGMENTATION Je ne possède pas
les masques, est-ce possible de les obtenir
automatiquement ?
15
Plan
mchaumon première partie expérimental (pas de
réelle nouveauté) implémentation deuxième
partie une contribution et une approche (
philosophique) de la segmentation modélisation

• 1 - Contexte (efficacité du codage objet ?)
• 2 - Le codage dynamique dobjet vidéo
• définition du codage dynamique
• mise en place dun schéma - optimisation
  débit-distorsion
• analyse des résultats
• 3 - La segmentation en objets vidéo
• état de lart - lacune des approches existantes
• proposition dun modèle dobjet - résolution par
  clustering 3D
• analyse des résultats
• 4 - Conclusion - contributions - perspectives

16
Le codage dynamiqueDéfinition

• Introduit par Ebrahimi et al. 95 et Reusens et
  al. 97
• principe mise en concurrence de plusieurs
  techniques
• de codage ou codeurs sur une image ou une région
• mise en œuvre par optimisation débit-distorsion
• Principe identique
• dans le codeur H264/AVC
• dans les codeurs MPEG
• ...

mchaumon Kunt epfl principe d optimisation. Po
ur nous optimisation débit distorsion
17
Le codage dynamiquePour les objets vidéos

• Principe Mise en concurrence de plusieurs
• codeurs sur plusieurs objets
• Objectif Déterminer la meilleure configuration
• codeur - objet - débit/qualité

mchaumon pour chaque objet trouver le meilleur
codeur et la qualité ou débit approprié
18
Le codage dynamiqueSchéma du codage dynamique
mchaumon réflexion 1 complexe en temps de
calcul, mais existe tech prédiction et facilement
parallelisable, augmentation rapidité des proc
. Pascal Fleury Réflexion 2 possible sur plus
de 2 objet Réflexion 3 pb au niveau de la
synthèse trou - aliasing détailler les
codeurs revenir sur question importante intérêt
codage objet
mchaumon il a fallut - définir une mesure de
distortion - adapter le codeur H264/AVC - mettre
en place le codeur par mosaique - gérer les
problème de composition dobjet
19
Le codage dynamiqueSchéma du codage dynamique
ITU-T Rec. H.264 / ISO/IEC 11496-10, 02 JM5
20
Le codage dynamiqueSchéma du codage dynamique
Cammas et al. 03
21
Le codage dynamiqueSchéma du codage dynamique
Marquant 00 Pateux et al. 01
22
Le codage dynamique m3dcoder, représentation des
données
séquence originale GOP 108-119
1 maillage 3D GOP 108-119
1 texture plaquée GOP 108-119
les mouvements caméra
23
Le codage dynamiquem3dcoder, inconvénients/avanta
ges
mchaumon nécessite de trouver le modèle 3D
scéne rigide, peu d objet spéculaire,
suffisament de mouvement, mouvement non
dégénérés, Adapté aux structures rigides ayant
un mouvement 3D

• (-) difficile de trouver le modèle 3D
• () représentation très efficace à faible débit

séquence reconstruite GOP 108-119
séquence originale GOP 108-119
24
Le codage dynamique Sprite, représentation des
données
textures originales
25
Le codage dynamique Sprite, inconvénients/avantag
es
mchaumon images 0 - 17

• (-) nécessite un mouvement global
• () représentation très efficace à faible débit

objet vidéo fond reconstruit
textures originales
26
Le codage dynamique wavelet 3D, représentation
des données
textures originales GOP 0-8
maillage 2D GOP 0-8
textures projetées GOP 0-8
remarque notion de prolongement de texture
( padding )
27
Le codage dynamiquewavelet 3D,
inconvénients/avantages
mchaumon objet vidéo reconstruit 132.7Kb/S
PSNRtext30.1

• (-) nécessite des mouvements peu chahutés
• () représentation  scalable 

objet vidéo original
objet vidéo reconstruit R 132.7 Kb/s
28
Le codage dynamique H264/AVC, représentation des
données
textures originales
mouvements blocs
textures blocs
29
Le codage dynamiqueH264/AVC, inconvénients/avanta
ges
mchaumon objet vidéo reconstruit 55Kb/s PSNR31,8

• () représentation très efficace pour tous
  types de séquences

objet vidéo reconstruit R 55 Kb/s
objet vidéo original
30
Le codage dynamiqueDomaine d'efficacité de
chaque codeur
mchaumon m3dcoder mouvement supérieur à 10
pixels, pourcentage de point commun première
dernière image supérieur à 30, erreur de
correspondance inférieur au 1/2 pixel
31
Le codage dynamiqueSchéma du codage dynamique
32
Le codage dynamiqueEQM dans le domaine texture
textures projetées vers temps référence
textures codées
codeurs
séquences
Sprite
EQMtext
WLT 3D
m3dcoder
33
Le codage dynamiqueOptimisation R?D avec
contrainte sur R
mchaumon explication à la main formulation
lagrangienne non contrainte algo (on fixe
lambda) on calcul tout les J on garde le meilleur
codeur par objet, on itère sur les
lambda. Qualité uniforme 1 lambda par
objet, calcul de chaque J par objet avec
contrainte de qualité identique. Puis, on déduite
le Rtotal et on recommence.

• Objectif

34
Le codage dynamique Séquence Foreman CIF 15Hz
mchaumon interpolation des courbes
interpolation par polynome de degré 3 par
morceaux. (tangente aux bords) dévellopper???
mchaumon m3dcoder échoue avant-plan, pas de
sprite Une tendance à partir haut débit H264
dépasse tout le monde

• Remarques
• EQM dans le domaine texture
• interpolation des courbes
• Constat
• à faible débit, pas de suprématie
• H264/AVC objet performant à partir des débits
  moyen

arrière-plan
distorsion (EQM)
débit (Kbits/s)
avant-plan
mchaumon dire 1 pas 1 codeur supérieur
distorsion (EQM)
mchaumon CIF 15Hz
débit (Kbits/s)
35
Le codage dynamique Séquence Foreman R 93Kb/s
arrière-plan
distorsion (EQM)
13
débit (Kbits/s)
avant-plan
codage dynamique débit 99 Kb/s PSNRtext
33.4 dB
distorsion (EQM)
80
débit (Kbits/s)
utilisation dantialiasing lors de la
composition 6 kb/s pour la forme ? codage de
forme avec pertes
36
Le codage dynamiqueSéquence Foreman R 256Kb/s
arrière-plan
distorsion (EQM)
109
débit (Kbits/s)
avant-plan
codage dynamique débit 262 Kb/s PSNRtext
36.2 dB
distorsion (EQM)
147
débit (Kbits/s)
6 kb/s pour la forme
37
Le codage dynamiqueCodage objet vs. non objet
codage dynamique débit 99 Kb/s PSNRtext 33.4
dB
codage H264/AVC débit 100 Kb/s PSNR 32.9 dB
38
Le codage dynamiqueCodage objet vs. non objet
codage dynamique débit 262 Kb/s PSNRtext 36.2
dB
codage H264/AVC débit 268 Kb/s PSNR 37.6 dB
39
Le codage dynamiqueSéquence Stefan 352x240 15Hz
mchaumon Rem le mouvement peut être faux, ca ne
ce voit pas (mise à part sur les bords) -gt le
mouvement peut subir beaucoup de perte,
indépendament de la texture cf article ICIP
2003 pb 1 fortement dépendant de la segmentation
pb2 on déborde débit perdu à coder des
informations non nécessaires pour le joueur.
Pb3 semantique la balle à disparu
codage H264/AVC débit 105 Kb/s PSNR 26.7 dB
codage dynamique débit 100 Kb/s PSNRtext
27.2 dB
40
Le codage dynamiqueSéquence Escalier 25 Hz
mchaumon PSNR 25.1 dB
codage m3dcoder débit 100 Kb/s PSNRtext 31.3
dB
codage H264/AVC débit 113 Kb/s PSNR 28.3 dB
41
Le codage dynamique Bénéfices et inconvénients

• Les points positifs
• répartition du débit entre objets
• codage en fonction de lobjet
• efficacité à faible débit (lt256 Kb/s, CIF 15 Hz)
• donne une réponse favorable au codage par objet
• Les points négatifs
• évaluation difficile du résultat de composition
• résultat du codage fortement dépendant de la
  segmentation
• hiérarchisation du débit uniquement par
  intervalles
• complexe en temps de calcul au codeur

42
Plan
mchaumon première partie expérimental (pas de
réelle nouveauté) implémentation confirmé
lhypothèse selon laquelle le codage par objet
peut mener à des résultats égal ou supérieur au
codage non objet. deuxième partie une
contribution et une approche ( philosophique) de
la segmentation modélisation

• 1 - Contexte (efficacité du codage objet ?)
• 2 - Le codage dynamique dobjet vidéo
• définition du codage dynamique
• mise en place dun schéma - optimisation
  débit-distorsion
• analyse des résultats
• 3 - La segmentation en objets vidéo
• état de lart - lacune des approches existantes
• proposition dun modèle dobjet - résolution par
  clustering 3D
• analyse des résultats
• 4 - Conclusion - contributions - perspectives

43
La segmentation en objets Objectif des
techniques actuelles
mchaumon il manque peut être un transparent
référence ? Et explication techniques.
mchaumon approches morphologiques approche
statistiques approches variationnelles

• Déterminer des homogénéités (approches régions)
• techniques de croissance de régions
• ligne de partage des eaux Meyer et al. 90
• techniques de division fusion
• Horowitz et al. 74
• techniques de classification
• Clustering Ball et al. 66, Maximum de
  Vraisemblance Dempster at al. 77
• Déterminer des ruptures dhomogénéités (approches
  contours)
• techniques de contour actif
• Snakes Kass et al. 88, Contour Actif Geodesic
  Casselles et al. 97,
• Contour Actif Basé région Jehan-Besson et al.
  03, Paragios et al. 98

mchaumon A. P. Dempster, N. M. Laird, D. B.
Rubin. Maximum-Likelihood from incomplete data
via the EM algorihm. Journal of Royal Statistic
Soc. Ser. B (methodological), 391-38, 1977
mchaumon HOR-74 Horowitz S.L., Pavlidis T.,
"Picture segmentation by a directed
split-and-merge procedure", Conference on Pattern
Recognition, Copenhagen, Août 1974.
44
La segmentation en objets Vision synthétique de
la segmentation
mchaumon il manque peut être un transparent
référence ? Et explication techniques.

• Une modélisation énergétique prenant en compte le
  modèle recherché
• un terme dattache aux données
• des termes de régularisation du problème
• De nombreux outils pour résoudre la minimisation
• approche régions
• approche contours

45
La segmentation en objetsUn constat
mchaumon Temporal segmentation not stable along
time Difficulty to use temporal tracking process
for non-rigid objects Difficulty to manage
overlapped areas Proposed solution use of a long
term segmentation approach
mchaumon pas de modèle seulement des régions
homogènes Problème de gestion des occultations
(pas de prise en compte du long terme).
mchaumon soit recherche soit pas prise soit
mise en concurrence ...

• Lacunes de nombreuses approches
• recherche des régions plutôt que des objets
• mise en concurrence entre 2 objets seulement
• peu de prise en compte de la dimension temporelle
  long terme

mchaumon modèle objet problème initialisation
pb détermination automatique? Pour nous un objet
cest un mouvement et des textures ...
mchaumon possible car machine puissante depuis
peu...
46
La segmentation en objets Du court terme ...

• segmentation en  couches , Wang et al. 94
• (regroupement de mouvements affines
  construction de mosaïques)

mchaumon Wang et al 94 mise en concurrence de
plusieurs mouvements affine entre 2 images
groupe dimages
47
La segmentation en objets Du court terme ...

• segmentation en  couches , Wang et al. 94
• (regroupement de mouvements affines
  construction de mosaïques)

() réelle notion objet ( les couches ) ()
concurrence de plus de 2 objets (-) mouvements
simples (-) calcul seulement entre 2 images
(pas de long terme)
48
La segmentation en objets au long terme

• segmentation en  tubes , Porikli et al. 01
• (segmentation sur la dimension temporelle)

49
La segmentation en objets au long terme

• segmentation en  tubes , Porikli et al. 01
• (segmentation sur la dimension temporelle)

() approche long terme (volume dimages) ()
concurrence de plusieurs modèles de texture (-)
pas de mise en concurrence mouvement (tube
objet) (un ensemble de tubes peuvent
potentiellement former un objet)
mchaumon tube concurrence de texture
seulement objet notion mettant en jeu au moins
les textures et un mouvement sans rupture. Un
ensemble de tubes forment potentiellement un
objet tube peut échouer si le mouvement est trop
important
50
La segmentation en objetsNotre proposition

• trouver un modèle définissant un objet
• utilisation dun mouvement fin
• travailler sur un groupe dimages
• stabilité de la segmentation
• gestion des zones doccultations
• mettre en concurrence plusieurs objets

51
La segmentation en objetsNotre modèle
mchaumon par rapport à Wang mouvement
complexe, sur du long terme, et proposition de
modèle.
mchaumon insister sur la différence avec du
tracking on à quune vague idée de l endroit
ou se trouve l objet  germe 

• Modélisation spatio-temporelle dun objet

mchaumon insister sur la définition dun objet
défini par son mouvement. Propre au codage
vidéo? Texture fixe, mouvement propre.
mchaumon objet, zone de mouvement qui se
distingue
52
La segmentation en objets Illustration des
données nécessaires
mchaumon séquence 30Hz objectif mettre en
concurrence les mouvements et les textures pour
affecter chaque pixel à un objet.
séquence mobile calendar
mosaïque du germe ballon
mouvement du germe ballon
données utilisées par notre modèle dobjet vidéo
53
La segmentation en objetsSchéma général
mchaumon initialisation beaucoup possibilité
extraction de zone homogènes en texture et en
mouvement (exemple segmentationen volume) ou
approche par brique. insister sur zone gossière.
(pas très bien positionnés)
Extraction de K germes (K fixé)
initialisation
Estimation du mouvement des K germes
,
segmentation en objets
Recherche de K objets sachant notre modèle
54
La segmentation en objetFormulation énergétique
discrète
mchaumon objectif obtenir les cartes de
segmentation (proba)
mchaumon Rfinal calcul des expressions de
manière analytique et avec quelques modifs sur
la formule Pi,k,t et Mi,k,t.
Trouver une étiquette e(i,t) 1,K en
minimisant E
55
La segmentation en objetFormulation énergétique
probabiliste
mchaumon objectif obtenir les cartes de
segmentation (proba)
Avec Pi,k,t les probabilités ( la segmentation
objet)
mchaumon Rfinal calcul des expressions de
manière analytique et avec quelques modifs sur
la formule Pi,k,t et Mi,k,t.
mchaumon meilleur description des données,
notion de proportion d appartenance à un modèle
et de confiance (degré d appartenance à un
modèle) Domaine continu, concept de convergence
et de minimum existent (pas le cas dans tech
hard).p68 possible de dérivé descente de
gradient plutôt que ICM
56
La segmentation objetRésolution par clustering
3D
mchaumon pi,k,t fait intervenir lerreur pour
un temps t entre la mosaïque projetée et
limage et les termes de régularisation.

• Un algorithme itératif
• Calcul des
• Calcul des
• obtention des probabilités cest-à-dire de la
  segmentation

itération
lutilisation de loutil de  clustering  est
inspirée de Castagno 98 remarque
introduction dune classe rejet
57
La segmentation en objetsRésultats
mchaumon Rejet 300 cf CD 5 (icip rochester)
objet calendrier
objet ballon
objet train
objet tapisserie
58
La segmentation en objetsRésultats
objet calendrier
objet ballon
objet train
objet tapisserie
59
La segmentation en objetsRésultats
objet visage
objet fond
60
La segmentation en objets Bénéfices et
inconvénients du C3D

• Les points positifs
• un mouvement assez souple
• une texture stable
• une classe rejet
• une stabilité temporelle
• un algorithme intéressant dans une chaîne
  danalyse
• Les points négatifs
• un nombre dobjet fixé
• des frontières trop éloignées des frontières de
  texture
• une forte complexité

des objets simples à coder
mchaumon chaîne danalyse suite de brique de
base.
61
Plan
mchaumon première partie expérimental (pas de
réelle nouveauté) implémentation confirmé
lhypothèse selon laquelle le codage par objet
peut mener à des résultats égal ou supérieur au
codage non objet. deuxième partie une
contribution et une approche ( philosophique) de
la segmentation modélisation

• 1 - Contexte (efficacité du codage objet ?)
• 2 - Le codage dynamique dobjet vidéo
• définition du codage dynamique
• mise en place dun schéma - optimisation
  débit-distorsion
• analyse des résultats
• 3 - La segmentation en objets vidéo
• état de lart - lacune des approches existantes
• proposition dun modèle dobjet - résolution par
  clustering 3D
• analyse des résultats
• 4 - Conclusion - contributions - perspectives

62
ConclusionLe codage objet est-il intéressant ?

• Je possède les masques, est-ce que je gagne par
  rapport au codage non objet ?
• oui, à faible débit par codage dynamique

codage dynamique débit 99 Kb/s
codage H264/AVC débit 100 Kb/s
63
ConclusionLe codage objet est-il intéressant ?
mchaumon 1. extraction de zones fixes 2.
extraction dun mouvement global 3. extraction
dobjets (exemple Clustering 3D))

• Je ne possède pas les masques, est-ce possible de
  les obtenir automatiquement ?
• oui, dans les cas simples
• une segmentation
• approximative peut suffire

mchaumon Je ne possède pas les masques, est-ce
possible de les obtenir automatiquement ? oui,
dans les cas simples (une approche séquentielle
peut aider 1. extraction de zones fixes 2.
extraction dun mouvement global 3. extraction
dobjets (exemple Clustering 3D))
Exemple de segmentation quasi automatique
(C3D) suivie dun codage
mchaumon GOP 0-10 séq CIF 30Hz balle 82,
calendrier 158, tapisserie 158, train 83. En
prenant 5Kbs pour chaque forme on obtient un
débit de 500Kb/s Mais ca serait bien inférieur si
lintra avait été amortie...
codage ondelette 3D pour chaque objet
64
Synthèse des travaux et contributions La
segmentation
mchaumon modèle adapté au codageet tends vers
une certaine sémantique mise en
concurrence nouveaux algo c3d propriété
nouvelle séquentiel succession de rafinement
et permet de cerner mieux le type de séquence et
le nombre dobjet.

• Un modèle dobjet vidéo sous forme
  mouvement/texture
• utilisation dun mouvement long terme (maillage)
• utilisation de mosaïques pour les textures
• mise en concurrence de plusieurs objets
• Un algorithme de clustering 3D
• une initialisation par clustering affine long
  terme
• une classe rejet pour le clustering 3D
• la possibilité dévaluer les résultats grâce aux
  probabilités
• La notion dapproche séquentielle
• utilisation dalgorithmes de recherche dobjets
  spécifiques

65
Synthèse des travaux et contributions Le codage
dynamique
mchaumon un travail d expérimentation qui
permet d avoir un retour (intérêt analyse des
résultats) ...

• Une répartition automatique des débits et des
  codeurs
• utilisation des codeurs parmi les plus
  performants
• modification du codeur H264/AVC pour le rendre
  objet
• utilisation des codeurs ayant des approches
  différentes
• une métrique de distorsion PSNR dans le domaine
  texture
• optimisation débit-distorsion
• Une gestion des problèmes de composition dobjets
• une technique d antialiasing 
• prolongement de texture ( padding )

66
Synthèse des travaux et contributionsLe codage
objet avec un flux hiérarchisé

• Une représentation surfacique dun groupe de
  contours
• notion de contour  réel  de l objet
• prolongement de contours ( padding )
• notion de continuité spatio-temporelle
• Un codeur de contour
• codage ondelettes des représentations
• Linsertion dans un codeur totalement
  hiérarchique (mouvement - texture - forme)

67
Perspectives

• Pour le codage objet hiérarchique
• impact de la répartition texture, mouvement,
  forme
• codeur contour généraliser à nimporte quelle
  forme
• codeur contour taille GOP, z-order local,
  distorsion ...
• Pour la segmentation
• déterminer le nombre dobjets
• affiner les résultats aux frontières dobjets
• Pour le codage dynamique
• déterminer limpact psychovisuel du codage
  dynamique
• étudier la  scalabilité  pour le codage
  dynamique

mchaumon Insister sur ce que lon à fait depuis
prog dynamique résultats de scalabilité
codeur objet problème de scalabilités des
contours
mchaumon suite 1/2 ATER recherche plus axé sur
le codeur WLT3D (pas forcément objet) chose à
faire - le mouvement - changer la
représentation groupe d image donne surface
(similaire à groupe de contour donne
surface) résoud pb d échantillonage, comment
coder cette surface (EBCOT) ...
mchaumon segmentation nb classe regarder
techniques segmentant sur un volume 3D. 2
approches possibles 1_ raisonner par niveau
(comme porikli niveau pixel/nano,
tube/micro, groupe de tube/macro) prise en
compte du mouvement clustering affine. 2_
raisonner par séquentialité (logo, zone fixe,
mouvement affine) pb sensibilité des
choix. Ou les 2 ??? Dans tout les cas,
lagglomération est basé sur un mouvement plus
complexe quune simple translation. Affinage
insertion dans la formulation énergétique dune
distance aux contours issu dune segmentation
régions ou dun carte de gradiants
mchaumon codage hiérarchique Nouveaux résultat
sur la scalabilité du codeur ondelette 3D objet
(présenté à ICIP 2003). Représenter les texture
pour un GOP comme une surface et non plus une
image (résoud problème échnatillonage) -gt revoir
structure estim mvt codage EBCOT
adapté. Codeur contour prog dynamique pour mise
en correspondance de contour. Premier test
amélioration en débit et en qualité.
mchaumon codage dynamique impact psychovisuel
actuellement les mesure de distorsion sont adapté
à un codeur particulier. Il faudrait prendre en
compte les contours, les textures importante et
les problèmes propre à chaque codeur. Ex. M.
Carnec, D Barba Ecole Polytech Nantes.
VQEG proposer une couche basse avec un codeur
puis la couche haute avec un autre (il faut une
représentation scalable du codeur) perspective à
très long terme...
68
...
69
...
70
...
71
...Résultat dun codage de forme
mchaumon D 0.54
mchaumon GOP 0-5 image 0-30
masques R 5Kb/s
masques originaux
72
Contexte MPEG4-version2 vs. H264/AVC
mchaumon ITU-T Rec. H.264 / ISO/IEC 11496-10,
"Advanced Video Coding", Final Committee Draft,
Document JVT-E022, September 2002
http//www.balooga.com/thumbs.php3?dirmpeg4
73
Contexte Approches connexes

• Codage par région
• MORPHECO Salembier et al. 95
• Codage OBASC (object-based analysis-synthesis
  coder)
• Codage par SPRITE MPEG4 Okada et al. 01
• Codage par couches Schwarz et al. 00 Han et
  al. 98
• Codage par modèle Hötter 90, Galpin 02,
  Eisert et al. 99

années 80
années 90
74
ContexteDéfinition dun objet vidéo

• Les informations à coder

textures
mouvement
formes