Title: Aucun titre de diapositive
1Traitement d'images Hugues BENOIT-CATTIN
2I. Introduction
3HBC
4- Vision industrielle
- Imagerie médicale
- Imagerie satellite
- Microscopie
- Télécommunications
- Animations, Images de synthèse
- ....
5Plan
- I. Introduction
- II. Représentations Acquisition
- III. Pré-traitement Amélioration
- IV. Compression
- V. Segmentation
- VI. Introduction à l'indexation
- VII. Introduction au tatouage
- VIII. Conclusion
Remerciements à A. Baskurt, C. Odet pour les
parties II, III, V
6Eclairage
Scène, objets 2D 3D...
Formation de limage
Image 2D,3D,...
Numérisation
Image numérique
Corrections - radiométriques - géométriques
Restauration Reconstruction
Image numérique
7BDO
Transmission
Reconnaissance de formes
Décision
8II. Représentation Acquisition
- 1. Représentation continue
- 2. Représentation échantillonnée
- 3. Voisinage, connexité, distance
- 4. Acquisition échantillonnage,
quantification, bruit - 5. Représentations fréquentielles
- 6. Représentations pyramidales
- 7. Représentation de la couleur
9II.1 Représentation continue
- Image fonction dau moins deux variables
réelles - Image f(x,y) image 2D
- Volume f(x,y,z) image 3D
- Séquence dimage f(x,y,t)
- Séquence de volumes f(x,y,z,t) image 4D
- Les valeurs prises par f(.) peuvent être
- Scalaires (intensité lumineuse)
- Vectorielles (couleur (RVB, ..), imagerie
multispectrale, image de paramètres...) - Réelles ou complexes
10- Une image 2D f(x,y) scalaire réelle peut être vue
comme une surface en 3D
Interprétation altimétrique des images, bassin
versant, détection de ligne de crêtes,
dénivellation ...
- Si f(.) représente une intensité lumineuse
Cette représentation est utilisée quel que soit
le paramètre représenté par f(.) ( Température,
pression,....) Correspondance entre niveau de
gris et grandeur physique.
11- Opérations sur les images continues
- Toutes opérations réalisables sur le papier sur
les fonctions continues à variables réelles - Transformée de Fourier bidimensionnelle (2D)
- Filtrage, convolution, corrélation,
intégration, dérivation, traitements non
linéaire... - On utilisera souvent la notation continue pour
- représenter et manipuler des images numériques
(discrètes, échantillonnées, quantifiées) - Le traitement numérique de limage sera parfois
une discrétisation dune opération en continu
12II.2 Représentation échantillonnée
- Echantillonnage dune fonction f(x,y)
- fe(x,y) f(x,y).Si Sj d( x - i Dx , y - j
Dy ) - Dx pas déchantillonnage dans la direction x
- Dy pas déchantillonnage dans la direction y
Si Sj d( x - i Dx , y - j Dy ) Peigne de Dirac 2D
13Caméra CCD
Caméra à tube
14- Dans le cas général on aura (cas variant)
- Si h(.,.) est identique en tout point (x,y), on
aura (cas invariant)
h représentera la réponse impulsionnelle du
système de prise de vue. Cest une opération de
convolution, donc de filtrage.
- Limage échantillonnée est donc
- Dans un ordinateur, limage (numérique) sera
représentée parune matrice (tableau 2D)
15- f i,j est appelé valeur du PIXEL (i,j)
- (Pixel PICture ELement)
- Pour visualiser une image, on remplit une région
rectangulaire (Pixel) avec un niveau de gris (ou
de couleur) correspondant à la valeur du pixel.
En général les niveaux de gris (ou de couleur)
utilisé pour la visualisation sont compris entre
0 et 255 (code de longueur fixe sur 8 bits).
Affichage
Niveau de gris
f i,j
0.1 0.23 0.15 0.50
50 115 75 250
16- La maille (répartition des pixels) est le plus
souvent carrée (DxDy) ou rectangulaire
- On utilise parfois une maille hexagonale qui
possède des propriétés intéressantes pour les
notions de voisinage et de distance.
17II.3 Voisinage, connexité, distance
- Beaucoup de traitements font intervenir la
notion de voisinage - Un pixel possède plusieurs voisins (4 ou 8)
- On parlera de connexité 4 ou 8
La région grise forme UN seul objet en
connexité 8 DEUX objets en connexité 4
18- Distance entre deux pixels f i,j et f k,l
19II.4 Acquisition échantillonnage /
quantification
- Effets de l'échantillonnage pixelisation
256 x 256 pixels
64 x 64 pixels
16 x 16 pixels
- Contours en marche descalier
- Perte de netteté
- Détails moins visibles/ moins précis
- Perte de résolution
20- Effets de la quantification à l'acquisition
- CAN sur les systèmes dacquisition dimages
- Codage de la valeur de chaque pixel sur N bits
(En général 8 bits)
8 bits (256 niv.)
2 bits (4 niv.)
4 bits (16 niv.)
- Apparition de faux contours
- Bruit de quantification
- Effet visible à lœil en dessous de 6/7 bits
- Quantification sur 8 bits pour laffichage
21- Bruits liés à l'acquisition
Les images sont souvent entachées de bruit,
parfois non visible à lœil, et qui perturberont
les traitements
Diaphragme F/4
F/8
F/16
- Optimiser les conditions déclairage
- Attention à léclairage ambiant
- Mais... diaphragme ouvert faible profondeur de
champ - Mais... éclairage important dégagement de
chaleur
22Eclairage non uniforme !
Correction de l'éclairage
23- Flou de bougé/filé dû à un temps de
pose/intégration trop long
Cet effet est limité par lusage dobturateur
rapide et/ou déclairage flash
- Effet de lignage dû au balayage entrelacé des
caméras vidéo
Cet effet disparaît avec les caméras à balayage
progressif non entrelacé
Une bonne acquisition
Des traitements facilités
24II.5 Représentations fréquentielles
- Notion de fréquence spatiale
- Transformée de Fourier
- Transformée Cosinus
25- Notion de fréquence spatiale
26Variation sinusoïdale ? rapide (fréquence) des
niveaux de gris dans une direction donnée
27- Transformée de Fourier 2D
- Image S images sinusoïdales (A,f,j)
- F image complexe (module phase)
28Images sinusoïdales Impulsions de
Dirac
29- Transformée de Fourier Discrète 2D (DFT)
Image échantillonnée (M x N) pixels, la DFT est
donnée par
30- Identiques au 1D
- Périodique en u,v (période M,N)
- F(0,0) composante continue moyenne des NG
- Conservation de l énergie ? SS f(m,n)² SS
F(u,v)² - f réelle ? F symétrique conjuguée (mod. pair,
arg. impair) - Séparable
- Algorithme rapide (FFT) N².log2 (N)
- Convolution circulaire DFT
31DFT - DFT-1
Module
Phase
Module
32- Si le théorème de Shannon nest pas respecté
lors de - léchantillonnage dune image continue, il y a
repliement - de spectre
- Ceci se traduit dans les images par des figures
de Moiré, - cest à dire des formes fausses qui nexistaient
pas dans - limage dorigine
- Les caméras matricielles types CCD induisent
systématiquement - du repliement de spectre. Limage dentrée ne
devra donc pascontenir trop de hautes fréquences
( Ne passez pas à la télé avec - un costume rayé ! )
33Echantillonnée
Continue !
Sans repliement
Remarque DFT périodique
34Echantillonnée
Continue !
Avec repliement
35- Transformée Cosinus Discrète
36- Linéaire, séparable
- Coefficients réels
- C(0,0) composante continue moyenne des NG
- Concentration d énergie en basse-fréquence
- Algorithme rapide (via la FFT) N².log2 (N)
? compression d images
37II.6 Représentations pyramidales
- Pyramides Gaussiennes Laplaciennes
- Sous-Bandes / Transformée en ondelettes
? Traitement multirésolution Coarse To Fine
38- Pyramides Gaussiennes Laplaciennes
39- Burt Adelsson (1983)
- Filtrage passe-bas 2D de type gaussien
? Compression d images ? Analyse et
segmentation d images
40- Décomposition en sous-bandes / ondelettes
- Esteban/Galland 1977 - Woods/O Neil 1986 - -
Mallat (1989) - Filtres FIR 1D, 2D
- Filtres IIR 1D, 2D
Une Décomposition
41Une reconstruction
- Décomposition / Reconstruction sans pertes ?
cascades
42Pyramidale (itérée en octave)
Adaptative
43- Réversible
- Concentration d énergie
- Spatio - fréquentiel
- Analyse Compression
44II.7 Représentation de la couleur
- RGB
- CMY
- YUV / YIQ
- HSL
- Palettes
45- Synthèse additive de la couleur (perception
d une source) - Œil, Moniteur, Carte graphique
- Images 24 bits (38 bits)
- ?16 M de couleurs gtgt 350 000
- NG RGB
46- Synthèse soustractive de la couleur
- Objet éclairé absorbant un certain nombre de
fréquences - Extension CMYK pour l impression en
quadrichromie
47- Y intensité lumineuse TV NB
- UV / IQ information chrominance
- YUV gtgt RGB pour la décorrélation de
l information - Compression d images couleur
48- Hue Saturation Lightness (HSL)
- Le cerveau réagit à
- la longueur d onde dominante (teinte)
- la contribution à la luminosité de l ensemble
(saturation) - l intensité par unité de surface luminance
- Y L
- UV ? coordonnées polaire ? HS
49- 16 Millions de couleurs ? 256 couleurs
palettes (GIF, BMP) - Image indexée Palette (couleur sur 24 bits)
matrice d index - ? visualisation en fausses couleurs
50Plan
- I. Introduction
- II. Représentations Acquisition
- III. Pré-traitement Amélioration
- IV. Compression
- V. Segmentation
- VI. Introduction à l'indexation
- VII. Introduction au tatouage
- VIII. Conclusion
51III. Pré-traitements Amélioration
- 1. Opérations pixel à pixel
- 2. Opérations sur un voisinage filtrage
- 3. Transformations géométriques
52- Pourquoi pré-traiter une image ?
- Pour corriger les effets de la chaîne
d acquisition - Correction radiométriques et/ou géométriques
- Réduire le bruit Restauration, Déconvolution
- Améliorer la visualisation
- Améliorer les traitements ultérieurs
(segmentation, compression )
53III.1 Opérations pixel à pixel
- Modification d'un pixel indépendamment de ses
voisins
- Histogramme des niveaux de gris
- Comptage des pixels ayant un niveau de gris (NG)
donné - Histogramme ? densité de probabilité des niveaux
de gris
Niveau de gris
54- Modification d histogramme
- Transformation des niveaux de gris f
- vf(u) avec u niv. gris de départ, v niv.gris
d'arrivée
- f peut prendre une forme quelconque
55- Recadrage linéaire des niveaux de gris
v
255
vf(u)
u
0
255
56 57- Egalisation d'histogramme
58- Non-linéaire, Logarithme, Extraction de plans
binaires, - Ecrêtage, Compression-dilatation de dynamique,
- Spécification dhistogramme,
- Codage en couleur, Pseudo-couleur, ....
- Segmentation basée sur les niveaux de gris
(multi-seuillage)
59III.2 Opérations sur un voisinage filtrage
- Modification d'un pixel en fonction des ses
voisins
- Filtrage linéaire
- Domaine spatial filtres FIR 2D (masque),
filtres IIR - Domaine fréquentiel dans le plan de Fourier
g(x,y) h(x,y)f(x,y) (convolution
bidimensionnelle) G(u,v) H(u,v) . F(u,v)
- Filtrage non-linéaire dans le domaine spatial
60- Filtrage spatial FIR 2D masque de convolution
- Convolution par une réponse impulsionnelle finie
appelée - Masque de Convolution
f est limage de départ h est le masque de
convolution W défini un voisinage
- Un pixel f(i,j) est remplacé par une somme
pondérée de lui-même et des pixels de son
voisinage
61k
0
1
W voisinage 2x2 ? k0,1 l0,1
1/4
1/4
0
1
h(k,l) 1 /4 pout tout (k,l)
1/4
1/4
l
( En ne conservant que la valeur entière )
0 1 2 2 1 1 2 1 1 2 0 0
3/4 6/4 7/4 x 5/4 5/4 3/4 x x x x x
0 1 1 x 1 1 0 x x x x x
62Moyenneur 2x2
(zoom)
63- Utilisation de voisinages très divers
- Rectangulaires 2x2, 3x3, 4x4, 5x5, 7x7, 1x2,
2x1, 1x3, 3x1... - En croix, Circulaires...
- Valeurs des coefficients
- Constants(Moyenneur), Gaussiens
- Effets de filtrage passe-bas image plus
flou, contours moins précis mais réduction du
bruit haute fréquence - Le principe du masque de convolution sera
utilisé pour dautres - traitements (Détection de contours)
- Lutilisation dun voisinage entourant un pixel
est un principe très général en traitement de
limage
64- Exemple réduction du bruit
Filtre moyenneur 3x3 (k-1,0,1 l-1,0,1),
Valeur constante h(k,l)1/9
65- Exemple réhaussement de contours
0 -1 0 -1 4 -1 0 -1 0
0 -1 0 -1 5 -1 0 -1 0
Image dorigine Laplacien
66- Filtres FIR 2D et plan de Fourier
g(x,y) h(x,y)f(x,y) ? G(u,v) H(u,v) .
F(u,v)
- Filtrage N².(L-1) N² vs. N².Log2N N²
- Synthèse de filtres
- 1D ? 2D
- Echantillonnage en fréquence
- Fenêtre
67Cest un filtre passe-bas, peu sélectif,
anisotrope
68- Filtre IIR ? version tronquée à Ks et
échantillonnée ? masque FIR
- Cest un filtre passe-bas isotrope peu
sélectif. - H(u,v) est aussi une gaussienne
69DFT
Filtrage
DFT-1
70 71- Filtrage non linéaire 2D filtre Médian
- Remplacer le pixel central par la valeur médiane
du voisinage
72- Avantage par rapport au filtrage linéaire
- ? les bords sont conservés
Filtre linéaire de largeur 3
Filtre médian voisinage 3
73- Principe du filtrage IIR 2D
- Le choix du balayage est arbitraire
- Le pixel présent ne dépend que des pixels du
passé - Voisinage pixels du passé entourant le pixel
présent
74III.3 Transformations géométriques
- Objectif
- Corriger les déformations dues au système de
prise de vue
f(x,y) f(x,y) avec xh1(x,y) et
yh2(x,y)
- Exemple transformation affine (translation,
rotation)
Remarque les paramètres a,b,c,d peuvent ne pas
être les mêmes pour toutes les régions dune image
75- Problème
- x,y,sont des valeurs discrètes (image
échantillonnée) xkDx , ylDy - et xh1(kDx , lDy) et yh2(kDx , lDy) ne
seront pas - nécessairement des multiples entiers de Dx et Dy
-
k
k1
m
m1
Dx
Dx
l
n
P1
P2
Dy
Dy
l1
n1
P3
P4
76Solution Interpolation
m
f(Q)f(mDx,nDy) Gf(P1),f(P2),f(P3),f(P4) ave
c f(P1)f (kDx, lDy) f(P2)f
((k1)Dx,lDy) f(P3)f ((k1)Dx,(l1)Dy)
f(P4)f (kDx, (l1)Dy)
P1
P2
Q
n
d4
P3
P4
- Plus proche voisin f(Q)f(Pk) , k
dkmind1,d2,d3,d4 - Interpolation linéaire
- Interpolation bilinéaire, fonctions spline,
Moindre ², ....
77y
y
x x0.5 y y y
x
x
128x128
- Warping ? Placage de texture ? animation ...
78Plan
- I. Introduction
- II. Représentations Acquisition
- III. Pré-traitement Amélioration
- IV. Compression
- V. Segmentation
- VI. Introduction à l'indexation
- VII. Introduction au tatouage
- VIII. Conclusion
79IV. Compression
- 1. Introduction
- 2. Approches directes
- 3. Approches par transformation
- 4. Compression de séquences d'images
80IV.1 Introduction
Réduction du volume occupé par les images
numériques pour faciliter leur transfert et/ou
leur stockage
- 1952 Codeur entropique (Huffman)
- 1978 DCT (Pratt)
- 1980 Vectoriel (Linde-Buzo-Gray)
- 1986 Sous-bandes (Woods)
- 1986 Vectoriel sur treillis (Fisher)
- 1989 JPEG
- 1989 MPEG-2
- 1989 Ondelettes (Mallat, Daubechies)
- 1990 Fractales (Jacquin)
- 1996 SPIHT
- 1996 MPEG-4
- 1997 MPEG-7
- 1998 JPEG2000
81- Imagerie médicale ? Télémédecine
- Imagerie spatiale
- Imagerie sous-marine
- Archivage divers (Musée, BNF, Empreintes ...)
- Vidéo conférence / visiophone (64 kb/s)
- Télésurveillance
- Video On Demand
- Télévision numérique (150 Mb/s)
- ...
82- Classification des méthodes de compression
83- Evaluation d'une méthode compression
Ex image (512x512x8bpp) avec Tc10 ?
512x512x8/1026215 bits ? 0.8 bpp
- Critère mathématique (RSB)
Avec
- Critères subjectifs
- - Courbes ROC (médecine)
- - Notations subjectives (TV)
84- Vitesse d'exécution codeur /décodeur
- Complexité
- - Additions / multiplications
- - Soft / Hard
- Résistance au bruit de transmission
- Intégration de post-traitements
- - Prise en compte du récepteur (homme / machine)
- Coût financier
- Scalability
85IV.2 Approches directes
- Codage Huffman
- Codage arithmétique
- Codage par longueur de plage
- Codage type dictionnaire
- Quantification scalaire
- Quantification vectorielle
- Méthodes prédictives
- Approche quadtree
- Codage fractale
Codeurs de source (Th. Information)
86 87(No Transcript)
88- Codage Arithmétique (1976)
- JBIG ? Codage des Fax type IV
89 90(No Transcript)
91- Codage par longueur de plage (Run length coding)
92- Codage de type dictionnaire (1977)
93(No Transcript)
94- Traitement pixel à pixel
- ? Diminuer le nombre de niveaux de gris utilisés
Nnq lt Nnp
- Problèmes
- - Comment choisir les seuils de quantification
(si) ? - - Comment choisir les niveaux de quantification
(qi) ?
95- Quantification scalaire uniforme linéaire
avec
96- Quantification scalaire uniforme optimale
- Niveaux Barycentre (histogramme)
- Quantification optimale (Loyd-Max 1960)
- Minimise l'erreur de quantification
- Algorithme itératif très long pour des
distributions inconnues
- Tables pour des dist. gaussiennes, laplaciennes,
... - Fait le travail du codeur !
97- Exemple de comparaison (peppers 512x512x8bpp)
- Remarque
- ?Efficacité variable du codeur entropique !
98Q. uni. lin. RSB 22,5 dB
99- Quantification vectorielle
- Extension de la quantification scalaire
- ? Pixel ? Vecteur bloc de pixels contigus
- Vecteur de taille et forme variable
- Approche optimale Linde Buzo Gray (1980)
- Phase d'apprentissage dictionnaire de vecteurs
- Vecteur représentant d'une région de Voronoï
de taille variable - Dictionnaire connu du codeur /décodeur
- Phase d'apprentissage délicate
- Temps de recherche dans le dictionnaire
- Approche treillis
100(No Transcript)
101- Méthodes prédictives (1974)
- Exploitent la corrélation entre pixel voisin
Modulation par Impulsions Codées Différentielles
(MICD) DPCM
- Propagation des erreurs
- Prédicteurs non optimaux
- Adaptation aux statistiques locales
102IV.3 Approches par transformation
103- Représentation différente de l'image
- ? Décorrélation ? Gain en performances
- Temps de calcul supplémentaire
- Une Transformation
- ? Réversible (sans perte)
- ? Orthogonale (énergie conservée)
- ? Rapide
- DCT ? JPEG
- Ondelettes ? SPIHT, JPEG2000
104- Compression DCT bloc JPEG (1989)
- DCT bloc 8x8
- ? homogénéité locale de l'image
- ? l'erreur de quantification est localisée au bloc
105 106- Matrice de normalisation
- ? allocation des bits aux coeffs avant
quantification par arrondi
Matrice chrominance
Matrice luminance
107- Lecture zig-zag
- ? prise en compte de la répartition spatiale de
l'énergie pour faire apparaître de longues plages
de coeffs nuls
- Codage du coeff DC
- ? DPCM d'ordre 1 Huffman
108- Codage des coeffs AC
- ? Codage hybride runlength ... Huffman
- - Huffman Code (plage de 0 catégorie)
- 162 codes 10catx16lp2(EOB16)
109- Exemple
- 0 -2 -1 02 -1 046 ? 111001 0 0 / 00 0 / 11011 0
/ 1010
- Extrait de la table d'Huffman des AC
110- Remarques
- ? JPEG méthode générale ? à adapter ...
- ? Très performant à taux faibles (10)
- ? Effets de blocs à taux élevés
Tc 10 / RSB 30.1 dB
Tc 20 / RSB 28.7 dB
111IV.4 Compression de séquences d'images
- Supprimer la redondance spatiale ou intra-image
- ? approches 2D
- Supprimer la redondance temporelle ou inter-image
- ? utiliser le déjà vu et le mouvement
112 113- Les bases de H261 à MPEG2
- 3 types d'images 3 codages
114- Images I (intra)
- - Codées JPEG'
- - Point d'accès séquence (0.5s)
- - Tc faible
- Images P (Prédites)
- - Prédites à partir de I ou P
- - Codage DPCM des vecteurs mvt
- - Codage JPEG de l'erreur de prédiction
- - Tc élevé
- - Propagation de l'erreur
- Images B (Bidirectionnelles)
- - Interpolées à partir des I P
- - Tc le plus élevé
115- 2 paramètres de réglage
- - N distance inter-I (12)
- - M distance inter-P (3)
GOP
116- Estimation du mouvement par block matching
- - Blocs 16x16
- - Compromis simplicité / efficacité
- - Rapide algorithme logarithmique
117- Le codage des images P
- 1- Calcul des Vj entre
- 2- Synthèse de Ip(n)
- 3- Calcul de l'erreur E(n) Ip(n) - I(n)
- 4- Codage JPEG de E(n)
- 4bis- Mémorisation de
- 5- Codage DPCM des Vj
118 119 120- Numérisation brute 200 Mb/s
- DVB DVD MPEG2 MP_at_ML
- - 720 x 480/576 (30/25 Hz) avec IPB
- - 4 Mb/s (PAL/SECAM) à 9 Mb/s (studio)
- - Tc de 40 à 18
121V. Introduction à la segmentation
122Pas de norme ! Pas de méthode unique ! Pas de
recette !
123VI. Introduction à l indexation
- Texte écrit ? recherche d'info. sur le contenu
(symbolique du mot) - Images
- Contenu d'une image ? texte !
- Indexation manuelle dans des bases de données
- Augmentation exponentielle du nombre d'images
Rque ? Analyse d'une image quelques sec.
124- Problème posé
- Retrouver des images semblables à celles que
cherche l'utilisateur - Que cherche l'utilisateur ? ? exemples, mots
clés - Quelles mesures considérer sur les images ?
- Quelles fonctions de ressemblance ?
- Contraintes de robustesse
- rotation
- échelle
- éclairage
125VII. Introduction au tatouage
- Protéger la propriété des images numériques
- Watermark signal inséré dans l'image
- Unique ? identifie l'image
- Multiple ? identifie la source
- visible ? facile à enlever, propriétaire visible
- invisible ? difficile à enlever, piéger les
truands
126- Original watermark original
- watermark ? signature électronique
- Impossible à enlever sans dégrader l'image
- Résiste au scaling, cropping, coding, modif
histogramme - Invisible mais extractible
- En nombre suffisants
127- Domaine spatial (peu résistant)
- flip des bits de poids faible de quelques pixels
- Modifications d'amplitude (YUV)
- Domaine fréquentiel
- Modifications de coefs TFD / TCD / Sous-bandes
- Compromis entre (invisibilité / indélébilité)
128VIII. Conclusion
BDO
Tatouage
Indexation
Compression
Segmentation
- Image ? Multimédia
- Des techniques complexes et prometteuses
- Dimension affective forte
- Au cœur de nouveaux services usages
Transmission
Rec. formes
Décision