# Réunion du mardi 31 mars - 15h00/17h00

### Présents: Kamel, John, Seyf, Walther, Ny Ando et François.

## **John** - Implémentation d'un CNN dans le cadre d'un système multivues avec déport de la première partie du réseau front-end (FE) au sein des "têtes" de caméra.

La question actuelle se porte sur la modélsiation de la consommation des ressources matérielles à précision constante.
On nomme:
* $V$: le nombre de vues donc le nombre de caméras. Ce sera aussi le nombre de **branches** du réseau.
* $M$: le nombre de couches dans chaque branche.
* $\underline X$: les ressources maximum acceptables par FPGA. C'est un vecteur incluant plusieurs types (MAC, LE, IO,...).
* $\underline R_i$: les ressources consommées par la couche $i$ au sein d'une branche front-end
* $P$: la précision visée par le **réseau global**

Les ressources totales d'une branche sont donc données par:
$$
\underline R_{tot}=\underline \alpha_0 \underline R_0+\underline \alpha_1 \underline R_1+...+\underline \alpha_i \underline R_i
$$

$\alpha_i$ détermine le facteur de compression de la couche $i$ en terme de ressource ($0<\alpha_i<1$). On en déduit intuitivement que plus $\alpha_i$ sera faible et plus la précision le sera aussi.

Une contrainte naturelle est : $\underline R_{tot} < \underline X$

**Pour la semaine prochaine, le travail de John consiste à :**

* Faire la courbe $P=f(\alpha_0)$ pour deux trainings. Vérifier s'il y a une cohérence entre les deux et essayer d'en tirer un modèle. (analyse de sensibilité)

## Walther - Modélisation hétérogène (FPGA et GPU) de couches d'un réseau de neuronnes profond afin d'en déduire la meilleure implémentation

La question que l'on se pose est de trouver des modèles analytiques pour les différentes couches utilisées dans trois réseaux profonds dédiés à l'embarqué. Cette semaine Walther nous a présenté différents modèles analytiques prometteurs!

**Pour la semaine prochaine, le travail de Walther consiste à :**

* Valider sur un premier réseau la validité des différents modèles. Cela va donc consister à choisir un réseau (Squeezenet?) à en prédire ces différents paramètres avec:
* une implémentation pure GPU,
* pure FPGA - synthèse en utilisant de plus grand FPGAs,
* mixte FPGA/GPU (avec le partionnement proposé)
* Espace de solution pour GPU et mixte FPGA/GPU pour mobileNet and shuffleNet
* puis à faire la vérification en réel pour chaque macro modèle.

* Intégrer ces résultats dans le papier en cours d'écriture (1er draft pour le vendredi).

## Ny Ando - Analyse sémantique de scène à partir d'une caméra multispectrale

Le but de la thèse de Ny Ando est de pouvoir identifier/classifier différents éléments d'une scène à partir de leurs informatiosn spectrales. Pour se faire, nous allons développer une caméra de ce type en utilisant différents imageurs dans différents bandes spectrales associés à un système de calcul hétérogène FPGA/GPU. La "fusion" des différentes info spectrales sera faite à l'aide d'un réseau profond.

**Pour la semaine prochaine, le travail de Ny Ando consiste à :**

* Finir le cours de DD Ng sur Coursera
* Faire le slide de Road Map
* Etudier les possibilités de synthèse d'images multispectrales de manière à pouvoir créer un dataset tangible