# Point d'avancement Ivan

## 2022/01/18

### Matching visible/thermique:
- L'objectif est de réaliser un survey qui sera la première "pierre" de la thèse. Ce survey sera aussi utilisable avec d'autres modalité.

Seul les appariement "features-based" sont considérés.
Ces méthodes considèrent l'extraction de primitives (coin et contours) puis une description de ces primitives. C'est cette description qui nous intéresse:

- MIND semble concluant
- LSS est terminé et pas probant par comparaison avec MIND
- ELGHD (Edge histogram et gabor) est le meilleur

Hormis les techniques "feature", il existe des méthodes IA et Area-based.

- Coté IA:
- un survey existe (Vibot - le creusot) sur la segmentation semantique à partir de fusion multimodale (au sens large: profondeur, lidar,....): [Zhang2021](https://hal-univ-evry.archives-ouvertes.fr/hal-02963619/file/Deep_Multimodal_Fusion_for_Semantic_Image_Segmentation__A_Survey.pdf)
- Approche GAN [Nyberg2018](https://link.springer.com/chapter/10.1007%2F978-3-030-11024-6_49)

- Datasets communs:
- Il est fondamental d'avoir un dataset pour tester les methodes. Il existe un survey coréen [Hwang2015](https://soonminhwang.github.io/rgbt-ped-detection/misc/CVPR15_Pedestrian_Benchmark.pdf)

- Coté capteur:

| Modalité | capteur |
|:--------:|:-------|
| UV | [Sony(Framos) IMX487](https://www.framos.com/en/news/sony-launches-the-imx487-with-the-uv-ultraviolet-wavelength) / [GSENSE4040BSI](https://www.gpixel.com/products/area-scan-en/gsense/gsense4040bsi/) |
| RGB | TBD |
| NIR | ??? |
| SWIR | Lynred / Sony (Framos) |
| LWIR | ATTO640 (Lynred) |

### TODO list:
1. Faire l'arbre de décomposition des méthodes clairement
1. faire les etats de l'art pour IA et Area-based
1. Finir le code LSS pour benchmark (Script Malab permettant de tester les différentes méthodes).
1. Faire l'etude sur les capteurs multimodaux
1. Réfléchir avec Sma-RTy à la structure de la caméra

## 2022/02/10
-