---
# System prepended metadata

title: Notes réunion 17/02/2021

---

# Notes réunion 17/02/2021

**Présents**:

- [x] Hichem
- [x] Guillaume
- [x] Robin

**Ordre du jour** : aborder les axes de recherches et pistes de réflexions à moyen court et long terme.

## Contenu des discussions

Il a été défini à titre proviosoire que les échéances court, moyen et long terme se découpaient comme suit :

- _Court terme_ : jusqu'au 15/0302021
- _Moyen terme_ : Jusqu'en octobre 2021
- _Long terme_ : Jusqu'à la fin de la thèse

### Court terme

Discussions sur les pistes d'améliorations/recherches à court terme en s'appuyant de ce qui a été proposé à ICIP

#### Amélioration de la baseline
- Optimisation possible couche par couche
- Utilisation d'un training set différent pour les poids et les masques
  - Dans le cadre de la reparamétrisation, le découplage de ces paramètres peut être les poids et les paramètres de la fonction de reparamétrisation (ex: la température et la puissance. Pour la puissance, utiliser $2\times n$ pour des questions de parité.)

#### Fonction de reparametrisation
 - Tester différentes fonctions de reparamétrisations pour voir leur impact sur les performances
   - il faut définir quelques fonctions à tester.


#### Architecture et Datasetd
- Tester notre méthode sur des architectures plus imposante (ResNet34/50 ?) et des datasets plus complexes : CIFAR100 et TinyImageNet ?

### Moyen Terme

Discussions sur la piste de la recherche d'architecture.
Remarque générale : Comme le sujet est ambitieux, il faut commencer petit puis monter progressivement en complexité.

#### Recherche d'architecture
- Les masques permettent la recherche de la topologie et la loss permet l'optimisation des poids (les masques sont aussi dirigés par la loss)
- On peut soit partir de blocs pré entrainés et chercher leur combinaisons, soit partir de rien (_from scratch_)

#### Elagage de l'arbre des possibilité (à la stockfish/alphazero)
- Peu simple  mettre en place
- Il faut procéder par étapes : commencer par un squelette avec des trous puis combler ces trous ?

#### Quantifier la complexité de l'architecture
- Via la loss et d'autres contraines : multiobjectif / sommes pondérées / contraintes d'égalité ou d'innégalité

### Long terme

Pistes qui peuvent répondre à une problématique plus appliquée

#### Meta Pseudo Labels
[Lien vers l'article](https://arxiv.org/pdf/2003.10580.pdf)

- 1 teacher et 1 student. Le student apprend du teacher et le teacher apprend à mieux apprendre au student.
Concept intéressant à réutiliser ?

#### Suvervised liés au vidéos
- Utiliser les infos redondantes dans les vidéos pour des applications comme le tracking. Avec du flux optique et du self supervised. 
  - A détailler dans un chapitre _applications_
- Pour Netatmo : Vidéo = fenêtre glissante assez courte. Du fait des limitations des produits, on ne peut pas buffuriser trop longtemps.
  - Les contraintes sur cette bufferisation sont surtout pour l'inférence. Pas pour l'entrainement.



