Coregistration Multimodale rigide et non rigide dimages mdicales'

1
Co-registration Multimodale rigide et non rigide
dimages médicales.
2
Plan (1)

• Introduction
• Structure des images médicales
• La coregistration
• utilité
• Coregistration rigide
• Coregistration non-rigide

3
Plan (2)

• Coregistration rigide
• Formulation mathématique
• Interprétation statistique d une image
• Le critère
• Evaluation du critère
• Stratégie d optimisation
• Approche multi résolution

4
Plan (3)

• Coregistration non rigide 2 techniques
• Splines
• algorithme approche multi résolution
• Optical Flow trois méthodes
• algorithme approches multi résolution

5
Plan (4)

• Conclusion
• Avantages d une technique de coregistration
  non-rigide par rapport à l autre
• Avantages de la multi résolution

6
Introduction

• Structure des images médicales
• La coregistration
• utilité
• coregistration rigide
• coregistration non-rigide

7
Structure d une image médicale

• Processus d acquisition ? image 3D composée de
  coupes.
• Trois types de coupes (sagittale - coronale -
  axiale)
• Pixel Voxel

8
axiale
coronale
sagittale
9

• Trois types de modalités (CT-PET-MR). Les
  valeurs de luminance de ces trois modalités
  varient dans un intervalle de
• -10000 à plus de 35000 selon la modalité.

10
smoothed at 6mm
PET 18FDG
...reconstruction smoothed at 6mm
PET transmission (TX)...
MR T2 body coil
MR T1 body coil
CT n1
11
Coregistration

• Utilité aide au diagnostic du médecin
• détection de tumeurs et lésions sur plusieurs
  modalités
• suivi dévolution de traitement chez les enfants.
• Segmentation rapide par Atlas
• Planification Chirurgicale
• Imagerie intra-opérative
• Drug design
• Atlas statistiques

12
Coregistration

• Coregistration rigide nombre de degrés de
  liberté pour la transformation limité.
• Translation, rotation, mise à l échelle
• Transformation affine
• Coregistration non rigide
• Transformation élément par élément
• Plus difficile, plus de méthodes...

13
Coregistration rigide

• Formulation mathématique
• Interpollation trilinéaire
• Choix dun critère
• Interprétation statistique d une image
• Le critère
• Evaluation du critère
• Stratégie d optimisation
• Approche multirésolution

14
Formulation mathématique

• Soit une image de référence R et une image
  flottante F.
• On désigne par f et par r les fonctions de
  luminance définie sur chaque point de R et F.
• Soit s un échantillonnage de F
• Il faut trouver la transformation GLOBALE
• Ta Sa ? R telle que FTa . s et R soient
  le mieux alignées au sens d un certain critère.

15
Interpolation tri-linéaire

• r est évalué au point Ta . s . Sa valeur est
  égale à la somme des luminances voisines pondérée
  comme à la figure ci-dessous.
• Remarque la somme des wi est égale à 1.
• Cest ce quon appelle la Trilinear partial
  volume distribution

Ta . s
16
Critère de correspondance

• Plusieurs critères sont possibles pour comparer
  deux images
• Critère des moindres carrés
• Corrélation
• Information mutuelle

17
Exemple utilisation de la cross-correlation
comme critère
Minima locaux !!
18
Défauts de la corrélation

• Existence de nombreux minima locaux
• Grande dépendance de lintensité lumineuse ? pas
  bon pour multimodal !
• Alternative Utiliser un critère dinformation
  mutuelle qui se base sur un interprétation
  statistique des images

19
Interprétation statistique d une image

• Chaque pixel est la réalisation d une variable
  aléatoire A.
• Soit a une réalisation de cette V.A.
• En pratique
• densité de probabilité ? histogrammes !
• Conclusion voir limage de manière GLOBALE.

20
MI Processing Flow for Image Registration
Probability Density Estimation
MI Estimation
Input Images
Image Transformation
Optimization Scheme
Output Image
21
Registration

• Definition The process of Spatial alignment of
  two images.

Registration Diagram
Reference Image
Output Image
Similarity Metric
Optmizer
Floating Image
Transformation
22
Mutual Information Similarity Metric
Let A and B be 2 random variables with -
marginal probability distributions pA(a) and
pB(b) and - joint probability
distributions pAB(a,b)

• This definition is related to the
  Kullback-Leibler distance between two
  distributions
• Measures the dependence of the two distributions
• In image registration I(A,B) will be maximized
  when the images are aligned.

23
Mutual Information - MI
MI is related to entropy by the equations
Where H(A) and H(B) is the entropy of A and B
H(A,B) their joint entropy
H(A B) conditional entropy
24
Properties of Mutual Information

• Non-Negative I(A,B) gt 0
• If A and B are independent then
• I(A,B) 0 ? pABpA(a).pB(b)
• Symmetric I(A,B) I(B,A)
• Self Information I(A,A) H(A)
• I(A,B) lt H(A), I(A,B) lt H(B)
• info each image contains about the other cannot
  be greater than the info they themselves contain
• Cannot increase uncertainty in A by knowing B

25
Algorithm

• Transformation
• Image intensities are related by geometric
  transformation T? defined by the registration
  parameter ?

26
Algorithm
B. Criterion Probability Density Estimation

• Compute the joint image intensity histogram
  h?(f,r) of images F and R, with images
  intensities f(s) at position s and r(T?s) at the
  transformed position.

(joint image intensity distributions)
(marginal intensity distributions)
27
Algorithm

• The MI criterion I(?) is then evaluated

C. Optimization

• And the optimal registration parameter ? is
  found from

• Brent and Powells method is then used to
  maximize I(?)

28
Algorithm
InterpolationNearest NeighborsTrilinearParti
al Volume
29
Experiments with MI criteria

• Number of bins used in Joint Histogram 256x256
• Parameters initially equal to zero
• Optimizing parameters in the order tx,ty, Fx ,Fy
  ,Fz, ty,

30
Discussion / Conclusions of the authors

• MI criterion assumes that the statistical
  dependence between voxel intensities is maximal
  if both images are geometrically aligned.
• MI is highly data independent
• which allows robust and completely automatic
  registration
• Accuracy was compared with other implementations
  using correlation-based VSB for dataset A and B
  and the results were very close.

31
Discussion / Conclusions

• Robustness to Interpolation
• PV interpolation was introduced and indeed
  improves robustness when comparing to NN and TRI
  interpolation
• Robustness to optimization
• Different choices for floating image has given
  different results and time processing.
• For low resolution images, the order of the
  parameter are optimized influences at the
  optimization robustness.

32
Results using ITK
33

BrainProtonDensitySliceShifted13x17y
BrainT1SliceBorder20.png
The result was obtained using itk Optimizer
Gradient descent Transform Translation Metric
MutualInformationHistogramImageToImageMetric
(Viola-Wells Mutual information)
Result
34
Results using ITK Joint 2D histogram
Joint 2D histogram before
Joint 2D histogram after
Each entry is the number of times an intensity
f(s) in one image corresponds to an intensity
r(ts) in the other
35
The result was obtained using itk Optimizer
Regular Step Gradient descent Transform
centerrigid2D Metric MattesMutualInformation
36
Evaluation du critère

• Pour évaluer le critère, il est nécessaire de
  connaître les densités de probabilité pA(a),
  pB(b), et pAB(a,b).
• Pour ce faire, on évalue l histogramme des
  variables aléatoires A, B, et (A,B)t.
• Idée probabilité ? fréquence
• Il existe d autre méthodes si on veut une
  densité de probabilité continue, on peut avoir
  recours aux  parzen windows  (Viola).

37
Même exemple utilisation de linformation
mutuelle comme critère
MI versus angle MI versus
translation
Plus de minima locaux !!
38
Approche Multirésolution

• Initialiser une grille de point sur l image F
• Effectuer la coregistration de cette image
  sous-échantillonnée.
• Prendre la transformation Ta résultante comme
  condition initiale pour une grille plus affinée.
• Recommencer jusquà ce que le niveau de
  résolution voulu soit atteint.

39
Multirésolution
40
Optimisation

• Première phase descente de gradient dans chaque
  direction
• (tx ty tz ?x ?y ?z sx sy sz)
• Deuxième phase, descente de gradient dans une
  combinaison linéaire de directions fonction des
  résultats de la phase précédente.
• Répétition de la deuxième phase jusquà
  l obtention d un minimum local.

41
Exemples de coregistrations rigides (1)

• Modalité différentes pré-opératoire

PET
MR
CT
42
Exemples de coregistration rigide (2)

• Même modalité pré- et intra-opératoire

43
Coregistration non-rigide

• 2 techniques
• Splines
• algorithme
• approche multirésolution
• Optical Flow
• algorithme
• approche multirésolution

44
Coregistration non-rigide à l aide de splines

• On cherche toujours à maximiser un critère de
  similarité (information mutuelle) entre limage
  flottante et l image de référence
• Champ de déplacement LOCAL

45
Splines fonctions de base

• Lidée est d approximer les champs de
  déplacement en x, y, et z par des fonctions
  radiales de base R(r).

46
Splines approximation du champ de déformation.

• On se fixe une grille et on dispose des splines
  sur cette grille pour approximer vx, vy, vz.

vx(x,y,z)
vy(x,y,z)
vz(x,y,z)
czi
cyi
47
Critère d information mutuelle

• Courbe de l info mutuelle par rapport aux
  amplitudes de deux fonctions de base, optimisées
  conjointement.

48
Stratégie
49
Zones d intérêt

• Soit G le gradient du critère par rapport aux
  paramètres à optimiser

• La valeur de G est alors utilisée pour déterminer
  quelles sont les régions où les deux images A et
  B diffèrent le plus.

50
Algorithme multirésolution

• Principe
• On augmente graduellement la densité de la
  grille.
• Pour chaque densité de grille, des zones
  d intérêts seront définies comme vu plus haut.
• On place des fonctions de base sur les zones
  d intérêt.
• Les paramètres des fonctions de base sont
  optimisés d après le gradient du critère.
• On augmente la densité de la grille et on
  recommence ! On a donc comme pour loptical flow

51
Algorithme suite
52
Méthodes basées sur l estimation du flux optique
(optical flow)

• Première méthode Horn and Schunck
• Deuxième méthode Thirion

53
Optical flow algorithme (1)

• A l origine conçu pour détecter le champ de
  déplacement d un objet en mouvement
• Hypothèse de base on suppose quaprès son
  déplacement, le point garde la même luminance
• Soit un développement de Taylor au premier ordre
  de la fonction de luminance

Hypothèse ? (1) (2)
54
Optical flow algorithme (2)

• On pose
• On obtient donc
• ou
• (1)

qui est l équation fondamentale de loptical flow
55
Première méthode

• L équation (1) est une équation scalaire à deux
  inconnues. Il faut donc lui associer une
  contrainte de régularité. Si on associe cette
  contrainte à (1), le problème revient à minimiser
  
• (2)
• Le premier terme correspond à lerreur dans
  léquation du flux optique, et le deuxième,
  pondéré par un facteur ? et imposant un lissage
  des variations de vitesse, est le carré du
  gradiant de la solution (u,v).

56
Première méthode suite

• On résout (2) à l aide d équations itératives
  pour trouver les composantes u et v du champ de
  déplacement.

Les dérivées partielles sont estimées par
différences finies.
57
Deuxième méthode (1)

• Une autre approche est de considérer que le
  vecteur de déplacement est dans la même direction
  que le gradient de la luminance.

Ceci est une approximation valable pour des
petites déformations !
58
Deuxième méthode (2)

• Avec cette approximation, on peut écrire

P point dans un espace 1D s intensité de P au
temps 1 ( image  1 ) m intensité de P au
temps 2 ( image 2 )
Exemple 2D
59
Deuxième méthode (3)

• On trouve finalement comme expression du
  déplacement

• Comme cette équation est instable pour de petites
  valeurs du gradient, on la multiplie par un
  facteur

60
Deuxième méthode (4)

• L expression finale est donc

(3)

• Remarque dans l algorithme de loptical flow,
  v représente une vitesse car on considère deux
  images qui se succèdent dans le temps.
• Ici, ce n est pas le cas. Il ny a pas de
  dépendance temporelle entre les deux images.
• On peut voir (3) comme le résultat de forces de
  diffusion Thirion

61
Interprétation Maxwells demons

• On peut voir le champ de déplacement donné en (3)
  comme le résultat de forces de diffusion.

• Soit m-s gt 0 outside grad (S)
• lt 0 inside - grad
  (S)

62
Deuxième méthode (5) processus itératif

• On initialise une grille de point en se fixant
  une résolution.
• Il y a différentes méthodes
• Tous les points où le gradient de la luminance
  est non-nul sont sélectionnés.
• Appliquer à limage un détecteur de contours
• A chaque étape, on recalcule un nouveau champ de
  déplacement pour le déplacement courant.
• Le champ de déplacement final est donc calculé
  suivant
• On recommence avec une résolution plus élevée !

63
Deuxième méthode (6) Champs de déformation
régulier

• Afin d avoir un champ de déplacement régulier,
  on convolue à chaque itération le champ de
  déplacement par un masque gaussien de variance
  choisie.
• On a donc un paramètre supplémentaire sur lequel
  on peut jouer !!

64
Limitation de la méthode 2 (1)

• L hypothèse de base n est pas vérifiée !!
• Entre deux images, un point change de
  luminance
• Il faut donc réadapter les échelles de luminance.

f
x
x0
65
Limitation de la méthode 2 (2)

• Comme dit précédemment, la limitation tient dans
  le rapport linéaire entre intensités de voxels
  correspondants.
• Cette technique fonctionne donc bien entre
  images dune même modalité, mais ne convient pas
  entre images de modalités différentes.

66
Multirésolution

• La multirésolution permet de travailler d abord
  la structure du volume, et daffiner par la suite
  le champ de déformation.

• La multirésolution permet déviter de rester
  prisonnier de minima locaux.

67
(No Transcript)
68
Pour conclure ...
69
Conclusion (1) avantage d une méthode de
coregistration non rigide par rapport à lautre

• Les splines travaillent un critère d information
  mutuelle. Cest donc une méthode LENTE.
• L optical flow est plus rapide mais suppose une
  dépendance linéaire des fonctions de luminance.

70
Conclusion (2) avantages de la multirésolution

• La multirésolution permet, quelque soit la
  méthode, de travailler d abord sur la structure
  du volume et ensuite sur les détails. Cela est
  nécessaire si on veut éviter de tomber dans des
  minima locaux.
• Toute méthode de coregistration nécessite donc
  une approche multi-résolution.

71
Références

• Maes,Collignon Multimodality Image Registration
  by
• Maximization of MI. IEEE
• Transactions. Avril 1997.
• Rohde The adaptative grid registration
• algorithm a new spline modeling
• approach. Août 2001.
• Thirion Image matching as a diffusion process
• an analogy with Maxwell s demons.
• Avril 1998.