---
# System prepended metadata

title: Point d'avancement Ivan

---

# Point d'avancement Ivan 

## 2022/01/18

### Matching visible/thermique:
- L'objectif est de réaliser un survey qui sera la première "pierre" de la thèse. Ce survey sera aussi utilisable avec d'autres modalité.

Seul les appariement "features-based" sont considérés. 
Ces méthodes considèrent l'extraction de primitives (coin et contours) puis une description de ces primitives. C'est cette description qui nous intéresse:

- MIND semble concluant 
- LSS est terminé et pas probant par comparaison avec MIND
- ELGHD (Edge histogram et gabor) est le meilleur

Hormis les techniques "feature", il existe des méthodes IA et Area-based.

- Coté IA:
    -  un survey existe (Vibot - le creusot) sur la segmentation semantique à partir de fusion multimodale (au sens large: profondeur, lidar,....): [Zhang2021](https://hal-univ-evry.archives-ouvertes.fr/hal-02963619/file/Deep_Multimodal_Fusion_for_Semantic_Image_Segmentation__A_Survey.pdf)
    -  Approche GAN [Nyberg2018](https://link.springer.com/chapter/10.1007%2F978-3-030-11024-6_49)
    
- Datasets communs:
    - Il est fondamental d'avoir un dataset pour tester les methodes. Il existe un survey coréen [Hwang2015](https://soonminhwang.github.io/rgbt-ped-detection/misc/CVPR15_Pedestrian_Benchmark.pdf)

- Coté capteur: 
 
| Modalité | capteur |
|:--------:|:-------|
| UV       | [Sony(Framos) IMX487](https://www.framos.com/en/news/sony-launches-the-imx487-with-the-uv-ultraviolet-wavelength) / [GSENSE4040BSI](https://www.gpixel.com/products/area-scan-en/gsense/gsense4040bsi/)   |
| RGB      | TBD                           |
| NIR      | ???                           |
| SWIR     | Lynred / Sony (Framos)        |
| LWIR     |  ATTO640 (Lynred)             |

### TODO list: 
1. Faire l'arbre de décomposition des méthodes clairement
1. faire les etats de l'art pour IA et Area-based
1. Finir le code LSS pour benchmark (Script Malab permettant de tester les différentes méthodes). 
1. Faire l'etude sur les capteurs multimodaux
1. Réfléchir avec Sma-RTy à la structure de la caméra

## 2022/02/10
- 