---
tags: salle, iluminación, color
---
# Motion Traking con Blender

[TOC]

## Introducción

O>Video tracking is the process of locating a moving object (or multiple objects) over time using a camera.
[_wikipedia_](https://en.wikipedia.org/wiki/Video_tracking)

_El proceso de **localizar objetos en movimiento** a lo largo del tiempo utilizando una camara_

Para llevar acabo este proceso utilizamos un elemento virtual llamado **Tracker**

**¿Que es un tracker?**

Los trackers se utilizan para trazar el movimiento de determinados patrones de pixeles en una secuencia de imagenes o video, este patrón puede representar una letra, la esquina de una mesa, un ojo, o cualquier cosa de la sobre nos interese conocer su trayectoria. Con este proceso podemos saber como se desplazan los elementos dentro de nuestra toma, lo cual nos puede servir para enmascararlos, agregar elementos externos que interactúen con ellos, estabilizar una toma que se mueva mucho, calcular cómo se movió la cámara en el momento de la grabación entre otras cosas.


En Blender los trackers están compuestos por un área que define el patrón de pixeles que queremos perseguir llamada _pattern area_ (en azul) y un área de mayor tamaño que se utiliza como el _área de búsqueda_ llamada _search area_ (en verde). Cuando hacemos el _trackeo_, en cada cambio de cuadro blender buscará el patrón del _pattern area_ dentro de la _search area_ y una vez encontrado moverá el centro del tracker para alinearlo con la nueva posición. De esta manera después de ejecutar este proceso a lo largo de toda una secuencia de imágenes tendremos los datos sobre cómo se movió el patron buscado.



## Interface de usuario

Para hacer _traking_ en blender creamos una escena nueva seleccionando _VFX_ como tipo de escena, con esto Blender nos acomoda las ventanas y el espacio de trabajo con unos defaults pensados para hacerlo. También podemos simplemente cambiar el tipo de ventanas y acomodarlas manualmente de acuerdo a nuestras preferencias.


Las ventanas están organizadas de manera que enmedio en la ventana más grande tenemos el video a trakear y las ventanas que nos permiten trabajar con los trackers están alrededor.


### Clip View [📙](https://docs.blender.org/manual/en/latest/movie_clip/tracking/clip/introduction.html)


En esta vista cargaremos el video o secuencia de imágenes además aquí se encuentran la mayoría de las herramientas que requerimos para el proceso de trackeo. Como en la mayoría de las ventanas de blender del lado izquierdo tenemos la ventana de herramientas (la mostramos/ocultamos con la letra T) y a la derecha la de propiedades (letra N).

### Graph View [📙](https://docs.blender.org/manual/en/latest/movie_clip/tracking/graph.html)


Esta ventana nos muestra el movimiento de nuestros trackers, en color verde se representa el movimiento vertical y en rojo el horizontal. Esto es muy útil para evaluar la calidad de nuestros trackers, aislar problemas en determinadas zonas de la toma, etc. Además una vez que calculemos la posición de la cámara se desplegará también una linea azul que nos indica el nivel de error a lo largo del tiempo, haciéndonos muy fácil la visualización de las zonas que requieren más trabajo.

### Dopesheet View [📙](https://docs.blender.org/manual/en/latest/movie_clip/tracking/dope_sheet.html)


Esta ventana nos pewrmite visualizar y editar cada tracker como un canal independiente, y nos facilita identificar las zonas que tienen pocos trackers.

## Footage

EL tipo de video con el que vamos a trabajar tiene mucho que ver con la dificultad para lograr buenos resultados. Los videos con mucha resolución y muchos detalles facilitan el trackeo de patrones de pixeles, en cambio los videos con mucho _motion blur_ o de baja resolución lo dificultan.

Otros factores que debemos considerar: los movimientos rápidos son más difíciles de seguir que los lentos, movimientos de cámara muy grandes hacen que los patrones no permanezcan mucho tiempo en escena y eso dificulta el trakeo, el blur dificulta mucho el proceso.

Por otro lado, el trakeo es un proceso que en general requiere mucho poder computacional, por lo tanto es mejor empezar con tomas cortas (10 seg o menos) y de resolución no mayor a 1080p.

:::info
Videos para practicar en [videvo](https://www.videvo.net/)
:::

### Cargar el video

En la ventana de _Movie Clip Editor → Tracking → Clip_ es donde trabajaremos nuestro video, para cargarlo utilizamos el botón _Open_.


Una vez cargado el video debemos ajustar la duración de nuestra escena en blender al largo deseado, si queremos trackear todo el largo del video podemos utilizar el botón _Set Scene Frames_ en la barra de herramientas del _Movie Clip Editor_.


Del lado derecho de nuestra ventana en el tab de _Footage_ podemos ver las características de nuestro video o secuencia de imágenes, es importante ver la velocidad del video (fps) y cambiar los ajustes de nuestra escena de blender en _Output Properties_.


### Proxys [📙](https://docs.blender.org/manual/en/latest/editors/clip/sidebar.html#proxy-timecode-panel)

Cuando el video o secuencia que vamos a trabajar ocupa demasiada memoria (esto depende del largo resolución) nuestro ordenador puede no tener la suficiente capacidad como para tener todos los cuadros cargados simultáneamente. En este caso el trabajo se vuelve muy lento e incómodo, el utilizar proxys nos ofrece una solución a esto guardando imágenes más pequeñas que las originales en el disco duro y usando estas durante el proceso de trakeo. Cuando hagamos l render final Blender cambiará automáticamente a utilizar las imágenes de resolución completa, de esta manera el utilizar proxys no cambia la calidad de nuestro render final.


### Prefetch

Para cargar el video o secuencia de imágenes en la memoria podemos simplemente dar play y esperar a que pase una vez por todo el video, o picar el botón _Prefetch_. La línea de tiempo irá cambiando de color conforme los cuadros se suban a memoria.


## Trakeo 2D

Para trackear algun detalle de nuestra imagen y hacer uso de la información de su movimiento necesitamos crear un Marker y pedirle a Blender que intente mantener la posición correcta respecto al detalle que nos interesa a lo largo del video. Muchas veces es necesario ayudar este proceso haciendo pequeñas correcciones manuales a lo largo del video.

### Creando Markers [📙](https://docs.blender.org/manual/en/latest/movie_clip/tracking/clip/editing/track.html#marker-panel)

#### Manualmente

Cuando nos interesa trackear un detalle particular, por ejemplo para crear una máscara o algún elemento que se mantenga cercano a este detalle. Tenemos que crear el Marker manualmente haciendo click sobre el detalle que queremos mientras mantenemos presionada la tecla _Ctrl_.


Una vez creado el Marker podemos ajustar su tamaño, forma, o rotación.


y con la combinación de teclas _Alt-S_ mostramos el área de busqueda del Marker, la cuál también podemos modificar. Para videos con movimiento muy rápido necesitamos áreas de búsqueda más grandes (las cosas se mueven mucho de un cuadro a otro) que para scuencias lentas.


#### Detect Features

Si no nos interesa algún detalle en particular y queremos crear muchos Markers rápidamente podemos utilizar el botón _Detect Features_ y Blender intentará encontrar detalles ótimos con los cuales hacer el trakeo. Es importante entender que Blender buscará detalles sólo en el cuadro en el que nos encontremos en el momento de picar el botón y que dependiendo del tipo de video y su movimiento muchos de esos detalles pueden salir de cuadro o perderse después de determinado tiempo. Una técnica común es hacer _Detect Features_ en el primer cuadro y trackear hacia adelante, y después hacer lo mismo en el último cuadro para trackear en sentido contrario.



### _Trackeando_

Antes de empezar eel proceso de trakeo podemos modificar las características de nuestro Marker de acuerdo al tipo de video que tenemos:
**Perspective** es el adecuado si el punto de vista de nuestra cámara cambia mucho y esperamos que la perspectiva de los objetos modifique la forma del detalle que perseguimos.
**Loc** es el más sencillo y rápido de los métodos de trakeo y sólo implica que el detalle o patrón de pixeles se mueva, además si vemos que cambia de tamaño por un acercamiento o olejamiento de la camara podemos usar **LocScale**. Cuando los patrones que seguimos rotan podemos usar **Rot**. Dependiendo de lo que observemos en nuestro video podemos usar cualquiera de las combinaciones que Blender nos ofrece.


Si nuestro video tiene condiciones de iluminación que cambian mucho, la opción _Normalize_ nos puede ayudar a que el trakeo vaya mejor.


Pdemos realizar el trackeo cuadro por cuadro (_Alt Left Arrow_) o intentar hacerlo todo de una vez _(Ctrl T)_.


Dependiendo del video, y de la estabilidad del patrón de pixeles que tengamos selccionado el trakeo puede fallar en algún punto antes de terminar el video, en ese caso blender detendrá el proceso y nosotros podemos hacer alguna corrección manual para poder continuar con el resto de los cuadros.


### Corrigiendo errores [📙](https://docs.blender.org/manual/en/latest/movie_clip/tracking/graph.html#usage)

Cuando utilizamos la técnica automatica de _Detect Features_ y trackeamos muchos markers de una vez, es común que algunos de ellos pierdan el patrón que están buscando y se _vualven locos_. En ese caso podemos corregirlos manualmente o si tenemos suficientes markers buenos eliminarlos. En la vista _Graph_ es muy fácil detectar estos markers anómalos por que su movimiento tiene cambiosa mucho mas bruscos y grandes que el promedio de los demás, en esa misma vista los podemos seleccionar para editarlos o borrarlos.


### Camera Solve [📙](https://docs.blender.org/manual/en/latest/movie_clip/tracking/clip/editing/solve.html#solve-panel)

Si nuetro objetivo es integrar elementos 3D en nuestra toma, nos interesa llevar a cabo el proceso llamado _Camera Solve_, el cuál consiste en estimar las características, y posición de la camara con la que se grabó la secuencia que estamos trabajando. Para que la estimación pueda realizarse necesitamos **un mínimo de ocho markers correctos en todos los cuadros de la toma**. Lo ideal es que los markers duren toda la toma, sin embargo esto no siempre es posible y podemos tener marcadores más cortos siempre y cuando se traslapen con los demás para garantizar que siempre tengamos los ocho requeridos.

Una vez que tenemos suficientes markers de buena calidad podemos intentar el proceso, habilitamos la opción _Keyframe_ para que Blender intente encontrar las mejores keyframes, también podemos pedirle que intente encontrar ciertas características de la cámara en el menú de _Refine_ al picar el botón _Solve_ se inicia el proceso, que dependiendo de la capacidad de nuestro ordenador se puede llevar algo de tempo!


Una vez terminado el proceso Blender nos indicará el error que existe en la solución encontrada, si nuestro error esta por encima de 1 necesitamos mejorarlo, un error de 0.5 o menor en general funciona bastante bien para cualquier tipo de montaje.


Si usamos _Detect Features_ y tenemos muchos markers la mejor manera de mejorar el error es buscar los peores markers, eliminarlo y reintentar el proceso. Para pode hacer esto lo más fácil es prender la opción _Info_ en el menú de _Clip Display_ (arriba a la derecha de nuestra ventana de Clip).


De esta manera podremos ver el error que tiene cada marker y decidir si lo queremos borrar.


El menú de _Clean Up_ que se encuentra en lña pestaña _Solve_ (a la izquierda) tiene diversas herramientas para automatizar este proceso. En el [manual de Blender](https://docs.blender.org/manual/en/latest/movie_clip/tracking/clip/editing/solve.html#cleanup-panel) encontrarás más información de cómo usarlo.


## Scene Setup

Una vez que logramos una solución para la cámara con un margen de error aceptable sólo nos falta ajustar nuestra escena 3D para poder empezar nuestro montaje. Para ello Blender nos ofrece varias herraamientas.

### Setup Traking Scene

Al picar el boton de _Setup Traking Scene_ Blender nos ajusta la escena 3D para que tenga el video que estamos trakeando como fondo, crea un objeto empty ligado a cada marker y ajusta la camara al movimiento obtenido del trakeo.



### Orientation [📙](https://docs.blender.org/manual/en/latest/movie_clip/tracking/clip/editing/solve.html#orientation-panel)

Si embargo la orientación de la cámara y la escala de nuestros objetos no estan ajustados con nuetro video de fondo.

#### Set Floor or Wall

Para orientar nuestra escena 3D de acuerdo al video necesitamos 3 markers que están sobre una superficie plana, de preferencia sobre el suelo o alguna pared que nos permita orientarnos fácilmente. Seleccionamos esos 3 markers y picamos el botón _Flor_ o _Wall_ dependiendo el caso. Si la orientación de nuestra escena todavía no nos convence podemos seleccionar otros y volver a intentarlo.


#### Origin

Una vez que la orientación nos parezca correcta, seleccionamos un marker que será alineado con el origen (0,0,0) de nuestra escena y clickamos _Set Origin_


#### Set axis

Para alinear la dirección de nuestros ejes, podemos seleccionar un marker que consideremos están alineados con nuestro eje X o Y (respecto al que previamente marcamos como origen) y clickar el botón correspondiente.


#### Set Scale

Por último podemos ajustar las dimensiones de nuestra escala seleccionando dos markers entre los cuales conozcamos la distancia real, ingresar esa distancia y picar _Set Scale_



### Retoques de orientación

Al terminar este proceso (dependiendo de el error de nuestra solución de cámara) normalmente tenemos un ajuste de camara bastante bueno, sin embargo es común que no sea perfecto y muchas veces requerimos hacer pequeños ajustes _a ojo_ ya sea en la rotación de nuestra cámara o en las dimensiones de nuestros objetos. Los objetos _Empty_ que Blender nos crea de referencia nos pueden ser de gran ayuda en estos ajustes finales.



## Referencias
:::info
* Sección de [Motion Traking](https://docs.blender.org/manual/en/latest/movie_clip/index.html) en el **manual de Blender**
:::
{%youtube lY8Ol2n4o4A%}
{%youtube InIuTtt7W3E%}
{%youtube 6Vo-jyWlDhM%}