Lien de la note Hackmd
Scalability referes to the capacity of recovering physically meaningful image or video information from deconding only partial compressed bitstreams
Object-based scalability: different resolutions for different objects
On a une sphere en train de tourner sans illumination: dans le flux video, il n'y a pas de difference.
Prenons ensuite une sphere dont la source lumineuse bouge: l'information visuelle changera.
The observed of apparent 2D motion is called optical flow
Under the constant intensity assumption, the images of the same object point at different times have the same luminance value
On fait un developpement de Taylor:
On obtient:
Definisson , ,
Qui peut etre ecrit:
Avec le gradient spatial
The flow vector at any point can be decomposed into 2 orthogonal components:
As we can observe, when a straight edge moves in the plane, we can only detect the normal of its motion vector !
Because the optical flow equation can be rewritten as:
Avec la magnitude du vecteur gradient.
Les consequences de ces equations sont:
The problem is referred as to as forward motion estimation
Comment encoder les vecteurs de mouvements ?
Ils ne sont pas les memes en fonction de l'espace, il faut les encoder de facon parametrique.
Fonction mapping: nouvelle position
Avec le parametre qui encode le mouvement, ca nous donne la nouvelle position.
Different representations de mouvement.
Image b: pixel-based
Image c: on va la faire en TP
Pour le champ de vecteur, comment est-ce qu'on parametrise ?
Translations
Polynomial motions
Rotations
…
On estime que l'image est faite de pixel et on fait de la pixel-wise
Ca fait 2 millions d'inconnues a trouver
On rajoute de la regularite.
En general, on decoupe en regions.
On estime d'abord le mouvement ou une region ?
On decompose l'image en blocs (ex: pour une image , en )
On a des blocs qui vont se superposer car le mouvement n'est pas uniforme
Et on s'en fout !
On a egalement des coins qui ont bouges.
Il faut faire de la descente de gradient
It can induce warping effects
Displaced Frame Difference (DFD):
where is the domain of all pixels in and a positive number
It is equivalent to minimize:
This solution verifies when
We can add a penalty term in our equation to enforce the smoothness of our vector field (i.e. must vary smoothly)
We want to minimize:
with the weighting coefficient.
On va surtout regarder la methode exhaustive
Avec la descente de gradient et le probleme de dimensionnalite, on tombe souvent sur des minimums locaux et non globaux
Under the block-wise translation model
Then the error can be written:
We can estimate the MV for each block individually
Le deplacement au bloc de est une somme ponderee des deplacements en 4 coins
where:
Contrainte a connaitre: on ne veut pas que nos 2 carres s'inversent
Plusieurs methodes existent
Est-ce qu'on est dans le cadre ou pas d'avoir uniquement la camera qui bouge ?
Au foot et tennis, une grande partie du decor est stable
Est-ce qu'on separe en region ou on estime le mouvement ?
3 approches possibles
Pyramide laplacienne: on decompose l'image en bandes de frequence