TIFO: Cours recalage

Comment extraire une frequence cardiaque quand on a une oscillation ?

Stabiliser l'image

Quand on fait du recalage, on fait des estimations donc par moment l'image "vibre"

La video recalee est plus petite car on prend la plus grande translation de chaque cote.

Context

An example

Ptit poisson, grozyeux

General principle

What is the transformation between 2 frames ?
For 2 frames

$I_2$ and

$I_2$, Find

$\mathcal{T}$ to minimize

$$\mathcal{V}=Variance(I_1,\mathcal{T}(I_2))$$

Hyper important de verifier

2 frames

The reference frame (

$I_1$ in our presentation) is the frame we will not modify, considered as the "true" image

The studied frame (

$I_2$ in our presentation) is the frame we try to minimize

$\mathcal{V}$

Model

Choixe of the model to have the best estimation:

• Fourier domain
• Image
• Graph
• Multi-modality
  • Un peu complique

Usual transformations

Rigid transformation

Transfo rigide: on ne change pas la structure (les distances) dans l'image

Non-rigid transformation

On ne veut surtout pas faire de transformation non-rigide

Pourquoi ?
On risque de creer des deformations locales (dans notre exemple: corriger le mouvement du coeur)

Transformation estimation

Classical estimation for the entire image analysis:

$$\mathcal{T}=(\mathcal{R},T)$$

with:

$$\begin{gathered} \mathcal{R}=\left(\begin{array}{cc}\alpha a& \alpha b\\ \alpha c& \alpha d\end{array}\right)=\alpha {\mathcal{R}}^{\prime } \\ T=(d_x,d_y) \end{gathered}$$

Case of

$\mathcal{R}$:

If there is a rotation:

$$\mathcal{R}=\left(\begin{array}{cc}\alpha \cos (\theta )& -\alpha \sin (\theta )\\ \alpha \sin (\theta )& \alpha \cos (\theta )\end{array}\right)=\alpha {\mathcal{R}}^{\prime }$$

$\alpha$ is the scale factor

$$\begin{gathered} (I_2\mathcal{R}+T)-I_1=min(\mathcal{V}) \\ S=\mathcal{T}(I_2)=(I_2\mathcal{R}+T) \\ \mathrm{\forall }(x,y)\in I_2:S(x,y)=I_2(x^{\prime },y^{\prime }) \end{gathered}$$

with the estimated

$\mathcal{R}$ and

$T$,

$[x^{\prime }{y}^{\prime }]=[xy]\mathcal{R}+T$

Key-points

Principle

Objectives

• Points which are interesting
  $I_1$
• Find their equivalent in
  $I_2$
• Estimate the transform between the 2 sets of points

We want to solve

$$P_2=P_2\times \mathcal{R}+\mathcal{T}$$

Where

$P_1$ and

$P_2$ are the sets of points of the 2 frames we seek to match,

$\mathcal{R}$ is the "rotation" matrix.

$\mathcal{T}=(d_x,d_y)$ is the translation

The solution

En fonction de la version d'OpenCV il peut y avoir un soucis avec la matrice

$\mathcal{M}$ (elle peut etre

$3\times 3$ au lieu de

$2\times 3$)

Applications

• Sequence stabilization
• Reconstruction
• Optical flow
• Similarity
• Comparison (evolution of a tumor etc.)

Recalage

keuwa ?

Deux images

$S$ et

$C$: cherche

$T$ tel que

$T(S)$ ressemble a

$C$

Les notations sont pourries ici

Applications

Outil fondamental en analyse d'images medicales, mais pas uniquement

• Ou ailleurs en imagerie ?
• Creation d'images panoramiques
• Mosaiques
• Astronomie

On ne cherche pas sur toute l'image les points-cles, on se restreint a une certaine zone

Systemes par mosaique

Ce type d'approche consiste a construire les images panoramiques a partir d'une serie d'images prises avec le meme systeme optique. On peut, par exemple, utiliser une camera en rotation autour de son centre optique

Evidemment, un nombre arbitraire d'images peut etre utilise

Exemples en imagerie medicale

Recalage

Definition
Consiste a trouver une transformation spatiale permettant d'aligner une image (source ou flottante) sur une autre (cible ou reference)

En anglais:

• Image registration
• Image matching

Recalage monomodal ou multimodal:

• Monomodal: meme modalites
• Multimodale: modalites differentes

Recalage intra ou inter-sujets

Exemples

Intra-patient, mono-modalite

Exemple: evolution de lesions (images IRM d'un patient atteint de SEP a quelques mois d'intervalle)

C'est flou !

Pour trouver quelles sont les zones qui ont evolue

Intra-patien, multi-modalite

Exemple: fusion d'informations provenant de 2 modalites differentes

Inter-patient, intra-modalite

Exemple: segmentation a partir d'un atlas anatomique

Extension en 3D

Recalage en imagerie medicale

Reconstruction d'un volume 3D

• A partir d'une serie de coupes 2D contigues (microscopie, epaisseur de coupe de 60nm environ)

Evolution temporelle

Brain-shift

Developpement cerebral

Comparaison entre differents sujets:

Fusion de modalite

Recap

Principe des methodes de recalage

Critere de similarite

Supposons que l'on se donne un critere de similarite:

$Simil(I,J)$ qui mesure la "ressemblance" entre 2 images

$I$ et

$J$

On choisit egalement une famille de transformation

$\mathcal{F}$

Le probleme de recalage s'ecrit alors comme:

$$argmi{n}_{T\in \mathcal{F}}Simil(T(I),J)=?$$

Methode de recalage

• Structures (primitives) a mettre en correspondance
• Critere de similarite
• Transformation
• Optimisation

Primitives geometriques

Structures particulieres dans l'image

• Points, courbes, surfaces
• Extraits automatiquement ou manuellement

Detection des primitives: ici points de forte courbure

• Primitives intrinseques
• Primitives extrinseques

Primitives intrinseques

• Structurent intrinseques au patient
• Information pertinente presente dans les 2 jeus de donnees
  • Points
  • Courbes (contours)
  • Surfaces segmenteees
  • Volumes
• Points anatomiques
  • Identifies manuellement par l'operateur
  • Isole automatiquement

Primitives extrinseques

Reperes externes, visibles dans les 2 modalites

• fixees au patient ou a la table d'examen
• Invasifs
  • Cadre stereitaxique
  • Vis dans la boite cranienne
• Non invasifs
  • Cadre non visse
  • Moule
  • Repere colles a la peau

Avantages

• Permet de recaler des donnees tres differentes

Inconvenients

• Les marqueurs doivent etre positionnes avant l'acquisition
• Le recalage retrospectif n'est pas possible

Autres reperes exterenes, contention

On fait des moules du patient pour faire des recalages

Primitives

Pas de structures particulieres: tous les voxels de l'image sont utilises

Critere de similarite

Dependance lineaire ou affine

Coefficient de correlation

Histogramme conjoint

Quand il est parfait, on a le meme nombre de points a la meme valeur

A quel histogramme correspond les images ?

Conservation de l'intensite - SSD

Information mutuelle

Exemples

Sommaire

Optimisation

Approches geometriques

Evaluation

Evaluation qualitative

Evaluation semi-quantitative

Evaluation quantitative