# [brand_attributes_logo] Méthode Convolution

## Objectif

Au vu des bons résultats du POC sur Carrefour, étendre la méthode sur plusieurs marque, la rendre robuste et l'intégrer en staging.

## Méthode
La méthode se base sur la fonction TemplateMatching de OpenCV. Cette méthode fait la convolution d'un template sur une image cible, puis fait une opération pixel par pixel pour retourner un score de correspondance par pixel de l'image cible, composant l'image réponse. Plus le score sur un pixel de l'image réponse est proche de 1 (resp. 0), plus l'image à ce point est proche (resp. différente) du template.

La fonction TemplateMatching n'opère pas directement sur les images RGB, mais sur les contours des images. Pour ce faire, un filtre de Canny suivit d'une dilatation est calculée sur l'image cible et sur le template.

Cette opération est répétée pour différentes tailles de logo (sur un espace logarithmique). Une fois qu'on a bouclé sur toutes les tailles, on vient récupérer la valeur de pixel la plus élevée sur toutes les images réponses. Si cette valeur dépasse un certain seuil, on considère que le logo a été détecté à l'endroit indiqué.

Cette opération est elle même répétée pour toutes les variantes du logo de la marque. Si plusieurs variantes ont été détectées, un post-processing de ROIs est exécuté pour fusionner les ROIs qui sont suffisamment proches.

Il faut compter environ 500ms d'exécution par frame et par variante de logo à tester.

### Contraintes sur les templates de logo

La méthode dépend énormément des templates de logo qui sont fournis.
Plus ceux-ci sont de bonne qualité, plus la méthode est robuste. Une préférence est faite pour les images en HD, et en png plutôt que jpg. Une fonction de préprocessing a été intégrée pour recadrer le template, si besoin. En revanche, le comportement de la méthode n'est pas garanti si l'image comporte un canal alpha (la transparence est remplacée par du noir pendant l'exécution), et si l'image utilise des couleurs indexées. Des précautions doivent être prises lors de la sélection des templates.
L'opération de convolution se fait pixel par pixel. De ce fait, il faut impérativement que le template colle exatement avec le logo présent dans la vidéo. De ce fait, il peut être intéressant de séparer dans deux variantes différentes un template qui contient un texte et un logo, si l'un des deux est variable ou bien si l'échelle/le placement entre les deux n'est pas constant.
Il est tout de même souhaitable de limiter le nombre de variantes à tester, car le temps d'exécution de la méthode en dépend fortement. Par exemple, inclure différents logo Carrefour où seule la couleur change n'est pas utile, car les contours restent les même. De la même manière, ajouter une variante "Carrefour Bio" où la seule différence est l'ajout d'un texte "bio" à côté du logo Carrefour de base n'est pas utile, car ce logo de base sera déjà détecté.

### Paramètres de la méthode

#### max_ih, min_ih

Controlent la hauteur minimale et maximale de la vidéo, redimensionnement des frames si besoin.
Définir une hauteur maximale permet de gagner du temps de calcul en ne perdant que de l'information jugée inutile
Définir une hauteur minimale permet d'éviter de faire des convolutions sur avec des templates devant être trop petits (et donc sensibles aux faux positifs).

#### min_template_size, min_template_ratio

Controlent la plus petite échelle de template à utiliser pour la convolution.
Baisser ces valeurs permet d'être moins sensible aux faux positifs. Augmenter ces valeurs permet de ne pas passer à côté des petits logos (ex: san pellegrino).
Plus spécifiquement, min_template_ratio permet d'éviter des tailles trop petites pour des vidéos en HD (calculs inutiles).

#### number_scales

Controle le nombre d'échelles de logos différentes à tester.
Augmenter cette valeur permet de tester plus de tailles, et donc d'améliorer la robustesse de la méthode.
Diminuer cette valeur permet de gagner du temps d'exécution (relation quasiment linéaire).

#### dynamic_canny, canny_kernel_size_factor

Activer le dynamic_canny permet de faire une dilatation plus importante quand le logo est grand, et une dilatation plus faible lorsque le logo est petit.
En effet, la principale source de faux positifs est lorsqu'une dilatation trop importante est effectuée sur un petit logo.
D'un autre côté, une dilatation trop faible diminue le nombre de détections pour les grands logos, en plus d'imposer un "number_scales" plus grand.
De ce fait, combiner un espace d'échelles logarithmique avec un facteur de dilatation dynamique permet de rendre la méthode plus robuste, moins sensible aux faux positifs, et plus rapide d'exécution.
Le paramètre canny_kernel_size_factor définie la dilatation à effectuer en fonction de la largeur du template. Diminuer ce paramètre revient à augmenter le facteur de dilatation plus rapidement, et inversement.

#### detection_threshold

Ce paramètre défini à quel seuil une valeur retournée par TemplateMatching est considérée comme positif.
Augmenter cette valeur permet de diminuer le nombre de faux positifs.
Diminuer cette valeur permet d'augmenter le nombre de vrais positifs.

#### early_stopping, reverse_scale

Activer les deux permet de trouver uniquement le plus gros logo de la frame, puis d'arrêter la recherche (gain en performances).

#### frame_mode

Le mode exhaustif effectue la recherche frame par frame, dans l'ordre.
Le mode dichotomique permet d'analyser la vidéo par groupe de frame, permettant d'éviter d'avoir à analyser chaque frame. Gros gain en performance, mais ne fonctionne que si early_stopping et reverse_scale sont à True.

Paramètres par défaut pour la release:
* "max_ih": 540,
* "min_ih": 0,
* "min_template_size": 20,
* "min_template_ratio": 0.05,
* "number_scales": 100,
* "canny_kernel_size_factor": 100,
* "detection_threshold": 0.45,
* "dynamic_canny": True
* "early_stopping": True,
* "reverse_scale": True,
* "frame_mode": "dichotomous"

Il pourra être envisagé de définir un paramétrage par défaut, mais aussi un paramétrage spécifique à chaque marque, voir à chaque template de logo.

### Optimisation des performances

1. Réduction de la taille max (540) => à peu près /3
2. Implémentation de early stopping => à peu près réduction de 35%
3. Approche dichotomique => entre /3 et /10 en fonction du FPS

## Résultats

La méthode a été valiée sur deux bases de données : la base de données SIFT (75 vidéos), et la base de données des partenaires POC (90 vidéos).

**Sur la base de données SIFT:**
* OK: 54
* KO: 5
* Partial: 15

Les causes de KO ou de partials sont :
* (x7) Une déformation non-affine sur le logo dans la vidéo (on product)
* (x5) Une importante texture en arrière plan du logo, causant des contours parasites faisant baisser le score de correspondance, ou un contraste trop bas entre le logo et l'arrière plan
* (x3) Un résolution vidéo très faible (causant des artefacts et donc des contours flous)
* (x2) Une rotation sur le logo dans la vidéo
* (x1) Un template ne correspondant pas exactement avec le logo présent dans la vidéo
* (x1) Un logo trop petit (le détecter est possible en changeant le paramétrage, mais augmente le risque de faux positifs)

**Sur la base de données POC:**

Logos à plat:
* OK: 77
* KO: 7
* Partial: 19

Les causes de KO ou de partials sont :
* (x14) Texture en background
* (x4) Logo particulier
* (x3) Logo trop petit
* (x2) Constraste trop faible
* (x2) Rotation

Logos on product:
* OK: 10
* KO: 43
* Partial: 9

NOTE : Présence de plusieurs faux positifs sur San Pellegrino à cause d'un template précis.

## Discussion