Aucun%20titre%20de%20diapositive

1
Plan

• Exemples dapplications
• Spécificités des méthodes de TIM
• Segmentation
• Recalage et fusion dimages
• En pratique

2
Recalage objectifs

• Comparaison
• dinstants différents
• de 2 modalités différentes
• entre deux patients
• Peut être effectué avant ou après la
  segmentation

pour un même patient
3
Recalage et Fusion

• Comparer deux images

• Trouver une transformation géométrique
  permettant de passer dune image à lautre

4
Recalage et Fusion

• Comparer deux images

• Trouver une transformation géométrique
  permettant de passer dune image à lautre

5
Recalage et Fusion

• Comparer deux images

• Trouver une transformation géométrique
  permettant de passer dune image à lautre

• Visualiser deux images complémentaires

6
Imagerie Scanner
Imagerie anatomique
http//www.petscan.fr
7
Imagerie TEPTomographie par Emission de Positons
Imagerie fonctionnelle
http//www.petscan.fr
8
Imagerie PETScan
http//www.petscan.fr
9
Fusion
10
Recalage Contexte et objectifs

• Consiste à trouver une transformation spatiale
  permettant daligner une image (source) sur une
  autre (cible).

• Télédétection, estimation de mouvement,
  morphing...

11
Avant recalage
Après recalage
12
Recalage Contexte et objectifs

• Exemple évolution de lésions (images IRM dun
  patient atteint de sclérose en plaque à quelques
  mois dintervalle)

Source Cible
Source Université Louis Pasteur, Strasbourg
13
Recalage Contexte et objectifs

• Exemple évolution de lésions (images IRM dun
  patient atteint de sclérose en plaque à quelques
  mois dintervalle)

Différence finale
Source Cible Source
recalée
Source Université Louis Pasteur, Strasbourg
14
Recalage Contexte et objectifs

• Exemple fusion dinformations provenant de 2
  modalités différentes

Source (scanner) Cible (TEP)
Source EPFL
15
Recalage Contexte et objectifs

• Exemple fusion dinformations provenant de 2
  modalités différentes

Source (scanner) Cible (TEP)
Source recalée
Source EPFL
16
Recalage Contexte et objectifs

• Exemple fusion dinformations provenant de 2
  modalités différentes

Source Université de Hambourg
17
Recalage Contexte et objectifs

• Exemple Segmentation à partir dun atlas
  anatomique

Source (individu)

Source recalée

Cible (atlas)

Source INRIA
18
Recalage dimages

• Trouver la transformation permettant de passer
  dune image à lautre
• Que mettre en correspondance ?
• Qq points particuliers ? Primitives
• Ou tous les pixels de limage ?

19
Primitives intrinsèques

• Trouver une information pertinente présente dans
  les 2 jeux de données
• En général, ce sont des points
• Points anatomiques identifiés manuellement par
  lopérateur
• Points géométriques isolés automatiquement

20
Primitives intrinsèques

• Exemple sur
• images de visages

• Exemple sur IRM cérébrales

Johnson Christensen, IPMI, 2001
21
Primitives extrinsèques

• Repères externes, visibles dans les 2 modalités
• fixées au patient ou à la table dexamen
• Invasifs ou non invasifs

Avantages Permet de recaler des données très
différentes
22
Autres primitives

• Mise en correspondance de courbes

23
Caractérisation de limage

• Mais tous les organes ne se prêtent pas à une
  caractérisation par points géométriques
• Cœur Reins
• Si pas de primitives particulières dans limage
  Mise en correspondance de tous les pixels

24
(No Transcript)
25
Recalage Définition formelle

• Trouver une transformation T telle que I o T
  soit similaire à J au sens dun certain critère.
• T arg minE C (I o T, J)

• On cherche la transformation T x ?T(x)
• ou le vecteur de déplacement u(x) tel que
  T(x)xu(x)

u(x)
x
Source Cours D. Sarrut, Univ. Lyon 2
26
Recalage Définition formelle

• Trouver une transformation T telle que I o T
  soit similaire à J au sens dun certain critère.
• T arg minE C (I o T, J)

• Nature des primitives à mettre en correspondance
• Points, courbes, surfaces
• Pixel
• Critère de similarité
• Espace E des transformations
• Méthodes doptimisation

27
Recalage Définition formelle

• Trouver une transformation T telle que I o T
  soit similaire à J au sens dun certain critère.
• T arg minE C (I o T, J)

• Nature des primitives à mettre en correspondance
• Points, courbes, surfaces
• Pixel
• Critère de similarité
• Espace E des transformations
• Méthodes doptimisation

28
Recalage Définition formelle

• Trouver une transformation T telle que I o T
  soit similaire à J au sens dun certain critère.
• T arg minE C (I o T, J)

• Nature des primitives à mettre en correspondance
• Points, courbes, surfaces
• Pixel
• Critère de similarité
• Espace E des transformations
• Méthodes doptimisation

29
Recalage Définition formelle

• Trouver une transformation T telle que I o T
  soit similaire à J au sens dun certain critère.
• T arg minE C (I o T, J)

• Nature des primitives à mettre en correspondance
• Points, courbes, surfaces
• Pixel
• Critère de similarité
• Espace E des transformations
• Méthodes doptimisation

30
Critère de similarité

• Mettre en correspondance tous les pixels de
  limage
• ? Les 2 images vont être comparées globalement
• Comment dire que 2 images sont similaires ?

Cas facile Cas difficile !
31
Critère de similarité

• Hypothèse
• pour tout pixel x IoT(x)J(x) après recalage
• (recalage monomodal)
• Minimiser le critère des moindres carrés
• (SSD sum of squared differences ou EQM)

32
Critère de similarité

• Hypothèse
• pour tout pixel x IoT(x)a.J(x) b après
  recalage
• (recalage monomodal)
• Maximiser le coefficient de corrélation normalisé

• r ? -1, 1
• Si IoT et J sont indépendants, alors r 0
• Si IoT et J ont une relation linéaire, alors r
  ?1

33
Critère de similarité

• Pas dhypothèse particulière
• Rapport de corrélation
• PIU
• Maximiser linformation mutuelle

Entropie de I
Entropie conjointe de I et J
34
Critère de similarité
Rappels théorie de linformation

• Entropie dune variable aléatoire
• Ex loi de Bernoulli. Pile ou face
• H(X) -p(P)log(p(P))-p(F)log(p(F))
• Si équiprobabilité ?H(X) -0.5log(0.5)
  -0.5log(0.5) 0.3
• Si déséquilibré p(P)0.8, p(F) 0.2 ?H(X)
  0.21
• Lentropie est maximale quand lincertitude est
  maximale

35
Critère de similarité

• Entropie dune image H(I) - Si pi log(pi)

Entropie H2
Entropie H1.7
36
Critère de similarité

• Entropie conjointe de 2 images H(I,J) - SiSj
  pi,j log(pi,j)
• Définition dun histogramme conjoint entre 2
  images

Modèle
255
0
Source Cible
0
Source
255
Entropie conjointe H 2.5
37
Critère de similarité

• Entropie conjointe de 2 images H(I,J) - SiSj
  pi,j log(pi,j)
• Définition dun histogramme conjoint entre 2
  images

Image1 Image2
Image2
255
0
0
Image1
P(nimage1, mimage2)
255
38
Critère de similarité

• Entropie conjointe de 2 images H(I,J) - SiSj
  pi,j log(pi,j)

Modèle
255
0
Source Cible
0
Source
255
Entropie conjointe H 3.72
39
Critère de similarité

• Entropie conjointe de 2 images H(I,J) - SiSj
  pi,j log(pi,j)

Modèle
255
0
Source Cible
0
Source
255
Entropie conjointe H 3.5
40
Critère de similarité

• Théorie de linformation très utilisée

41
Critère de similarité

• Théorie de linformation très utilisée en
  recalage multimodal

42
(No Transcript)
43
Différents types de transformations

• Rigides (transformation affine)
• Translations rotations
• Conservation des angles et des distances
• pour recalage intra-patient / intra modalité

XRXT
44
Différents types de transformations
Xf(X)

• Non-rigide élastique
• Les droites se transforment en courbes

Original Transformation
45
Résumé des transformations

• Recalage rigide ou affine
• Erreur de positionnement
• Pas de déformations de tissus mous
• Recalage non-rigide ou élastique
• Petites déformations locales

Source http//www.inf.u-szeged.hu/ssip/2007/lec
tures/AttilaTanacs-Registration.pdf
46
Mise en correspondance de points

• Deux étapes
• Placement des points (manuel ou automatique)
• Recherche de la transformation effectuant le
  meilleur appariement

• Algorithme ICP
• Fonctions splines

Source Université de Hambourg
47
Mise en correspondance de points

• Pour tout point Pi dans I, trouver le point Qj
  le plus proche dans J.
• Estimer une transformation
• T affine par une approximation
• aux moindres carrés.
• Appliquer la transformation T aux Pi.
• Itérer jusquà ce que les distances soient
  suffisamment faibles.

48
Mise en correspondance de points

• La spline est une fonction f interpolante telle
  que T(Pi) Qi et peut être mise sous la forme

Polynôme (déformations loin des points)
Base radiale (déformations locales près des
points)

• Fonctionnelle à minimiser

49
Mise en correspondance de points

• La spline est une fonction f interpolante telle
  que f(Pi) Qi et peut être mise sous la forme

Polynôme (déformations loin des points)
Base radiale (déformations locales près des
points)

• Spline de plaque mince U(r) r2 log(r2)
• Spline gaussienne U(r) exp(-r2/?2)
• Spline volumique...

50
Mise en correspondance de points

• La spline de plaque mince est une fonction qui
  minimise la fonctionnelle J0

• Cest la spline
• la plus lisse.

Ensemble de départ
Ensemble darrivée
51
Mise en correspondance de points

• Parfois on ne cherche plus à interpoler mais à
  approximer.
• Définition dune nouvelle fonctionnelle

Le paramètre ? réalise un compromis entre
interpolation et approximation

• Si ? 0 interpolation
• Si ? gt 0 approximation

52
Mise en correspondance de points

• Recalage par spline de plaque mince

Source recalée par approximation interpolation
Source
Cible
Source Université de Hambourg
53
Mise en correspondance de points

• Générer une expression précise

Source
Cible
Source Université de Tel-Aviv
54
Mise en correspondance de points

• Générer une expression précise

Source
Cible
?10-3 ? 10-4 ?0
Fonction gaussienne
Source Université de Tel-Aviv
55
Mise en correspondance de points

• Générer une expression précise

Source
Cible
Fonction spline de plaque mince
?10-3 ? 10-4 ?0
Fonction gaussienne
Source Université de Tel-Aviv
56
Recalage image entière

• Exemple recalage inter-patient de
  mammographies en IRM

Source
Cible
Source recalée par transformation affine
Source Kings College, Londres
57
Recalage image entière

• Exemple recalage inter-patient de
  mammographies en IRM

Source
Cible
Source recalée par transformation élastique
Source Kings College, Londres
58
Recalage par chanfrein

• Recalage rigide nécessitant les contours initiaux

Image de référence
Image flottante
59
Recalage par chanfrein

• Calcul dune carte de distance au contour sur
  limage de référence

Source Cours O. Coulon, www.esil.univ-mrs.fr/o
coulon
60
Recalage par chanfrein

• Contour de limage flottante superimposé sur la
  carte de distance
• Calcul de la moyenne des valeurs sous les
  pixels (Chamfer Distance)
• R.M.S. Chamfer
• Distance
• vi valeur de la distance
• n nombre de points

Distance de chanfrein 1.12
61
Recalage par chanfrein

• Calcul de la distance de Chanfrein sous le
  contour flottant

62
Recalage par chanfrein

• Déplacement du C(flottant) jusquà ce que la
  distance de Chanfrein soit minimum

63
Recalage par chanfrein

• Déplacement du C(flottant) jusquà ce que la
  distance de Chanfrein soit minimum

64
Recalage par chanfrein

• Déplacement du C(flottant) jusquà ce que la
  distance de Chanfrein soit minimum

65
Recalage par chanfrein

• Déplacement du C(flottant) jusquà ce que la
  distance de Chanfrein soit minimum

66
Recalage par chanfrein

• Déplacement du C(flottant) jusquà ce que la
  distance de Chanfrein soit minimum

67
Recalage par chanfrein

• Application au recalage IRM / TEP

Référence
Flottant
Source Cours O. Coulon, www.esil.univ-mrs.fr/o
coulon
68
Recalage par chanfrein

• Calcul dune carte de distance au contour sur
  limage de référence
• Contour sur limage flottante

69
Recalage par chanfrein

• Application du contour sur la carte de distance
• Déplacement jusquà ce que la distance de
  chanfrein soit minimum

Source Cours O. Coulon, www.esil.univ-mrs.fr/o
coulon
70
Méthode de Woods

• Basée sur le pixel
• Recalage rigide
• Zones uniformes ? correspondent à des régions
  anatomiques

A une zone uniforme dans une image correspond une
zone uniforme dans lautre image
71
Méthode de Woods

• Très utilisé pour le recalage multimodal IRM/TEP
• Limage des régions IRM est projetée dans limage
  TEP
• Minimisation du critère PIU

72
Recalage Plan

• Critères de similarité
• Transformations géométriques
• Préservation de la topologie
• Estimation de grands déplacements

73
Préservation de la topologie

• Cela dépend de
• lorgane étudié
• Exemple (cerveau) les noyaux sont identiques
• les sillons corticaux varient dun
  individu à lautre
• sil y a apparition ou disparition de matière.
• Exemple détection de lésions,
• comparaison pré/post
  opératoire...

Préservation de la topologie ? T bijective
74
Préservation de la topologie

• Définition du jacobien
• Jacobien ? 0 ? T inversible

• Si on dispose de linverse de T ? T inversible

T
S-1T
75
Estimation de grands déplacements

• La plupart des méthodes sont basées sur une
  hypothèse de faible déplacement.
• Pour estimer les grands déplacements, on utilise
  le concept de multirésolution.

La multirésolution consiste à - représenter un
signal selon différents niveaux de détails (ou
résolution), - utiliser la représentation
adéquate selon les applications.

• Application de la multirésolution aux images et
  à la transformation

76
Estimation de grands déplacements
Décomposition pyramidale des images selon
différents niveaux de résolution
Source
Cible
Sous-échantillonnage filtrage (gaussien)
256x256
256x256
128x128
128x128
64x64
64x64
77
Estimation de grands déplacements
Décomposition pyramidale des images selon
différents niveaux de résolution
Source
Cible
Sur-échantillonnage et projection de la
transformation
256x256
256x256
128x128
128x128
Recalage au plus faible niveau de résolution
64x64
64x64
78
Estimation de grands déplacements

• La transformation T est estimée à un degré
  faible (par exemple affine)
• Le degré est augmenté
• Degré du polynôme
• Dimension de la base dondelettes
• La transformation est estimée à ce nouveau degré
• Répéter jusquau degré voulu

79
Applications

• Le cœur est un organe mobile.
• Acquisition de séquences dIRM et dIRM taggée

80
Applications

• Estimation de la déformation
• entre chaque image
• Obtention dun champ
• de déformation

81
Plan

• Exemples dapplications
• Spécificités des méthodes de TIM
• Segmentation
• Recalage
• En pratique

82
Le format DICOM

• DICOM Digital Imaging and Communications in
  Medicine
• Désigne 2 choses
• Un standard de communication et darchivage en
  imagerie médicale
• Un format de fichier des images médicales
• En-tête dans les fichiers images contenant des
  informations sur le patient, lexamen, les
  conditions dacquisitions

83
Len-tête DICOM en IRM cardiaque
84
Qui embauche des ingénieurs en traitement
dimages médicales ?

• Constructeurs dimageurs
• PME proposant des solutions logicielles
  spécifiques
• Organismes publics
• CNRS, INSERM, INRIA, IRISA, Cemagref
• Laboratoires universitaires

85
Architecture dune étude clinique
Lecture
Center 1
Acquisition
Centralisation
CD-Roms
Résultats envoyés au laboratoire
Contrôle qualité Anonymisation
Acquisition
Center 2
Lecture
86
Applications

• Exemple 1 estimation
• de lépaisseur de la peau
• en échographie
• Exemple 2 estimation
• de la surface dune
• ecchymose (photo)

87
Projet de recherche classification dimages

• Imagerie alvéolaire

88
Projet de recherche classification dimages

• Imagerie alvéolaire cas normal

Source Prof. L. Thiberville, CHU Rouen
89
Projet de recherche classification dimages

• Imagerie alvéolaire sclérodermie

Source Prof. L. Thiberville, CHU Rouen
90
Projet de recherche classification dimages

• Imagerie alvéolaire HSP

Source Prof. L. Thiberville, CHU Rouen
91
Projet de recherche

• Imagerie alvéolaire diagnostic automatique
• Comment distinguer les cas normaux des cas
  pathologiques ?

• Extraction de caractéristiques puis classification

92
Développement dapplication Protocole

• Cahier des charges en collaboration avec les
  médecins experts
• Développement
• Validation
• Test
• Manuel utilisateur

93
Critère PIU
Critère de similarité