# Notes réunion 17/02/2021 **Présents**: - [x] Hichem - [x] Guillaume - [x] Robin **Ordre du jour** : aborder les axes de recherches et pistes de réflexions à moyen court et long terme. ## Contenu des discussions Il a été défini à titre proviosoire que les échéances court, moyen et long terme se découpaient comme suit : - _Court terme_ : jusqu'au 15/0302021 - _Moyen terme_ : Jusqu'en octobre 2021 - _Long terme_ : Jusqu'à la fin de la thèse ### Court terme Discussions sur les pistes d'améliorations/recherches à court terme en s'appuyant de ce qui a été proposé à ICIP #### Amélioration de la baseline - Optimisation possible couche par couche - Utilisation d'un training set différent pour les poids et les masques - Dans le cadre de la reparamétrisation, le découplage de ces paramètres peut être les poids et les paramètres de la fonction de reparamétrisation (ex: la température et la puissance. Pour la puissance, utiliser $2\times n$ pour des questions de parité.) #### Fonction de reparametrisation - Tester différentes fonctions de reparamétrisations pour voir leur impact sur les performances - il faut définir quelques fonctions à tester. #### Architecture et Datasetd - Tester notre méthode sur des architectures plus imposante (ResNet34/50 ?) et des datasets plus complexes : CIFAR100 et TinyImageNet ? ### Moyen Terme Discussions sur la piste de la recherche d'architecture. Remarque générale : Comme le sujet est ambitieux, il faut commencer petit puis monter progressivement en complexité. #### Recherche d'architecture - Les masques permettent la recherche de la topologie et la loss permet l'optimisation des poids (les masques sont aussi dirigés par la loss) - On peut soit partir de blocs pré entrainés et chercher leur combinaisons, soit partir de rien (_from scratch_) #### Elagage de l'arbre des possibilité (à la stockfish/alphazero) - Peu simple mettre en place - Il faut procéder par étapes : commencer par un squelette avec des trous puis combler ces trous ? #### Quantifier la complexité de l'architecture - Via la loss et d'autres contraines : multiobjectif / sommes pondérées / contraintes d'égalité ou d'innégalité ### Long terme Pistes qui peuvent répondre à une problématique plus appliquée #### Meta Pseudo Labels [Lien vers l'article](https://arxiv.org/pdf/2003.10580.pdf) - 1 teacher et 1 student. Le student apprend du teacher et le teacher apprend à mieux apprendre au student. Concept intéressant à réutiliser ? #### Suvervised liés au vidéos - Utiliser les infos redondantes dans les vidéos pour des applications comme le tracking. Avec du flux optique et du self supervised. - A détailler dans un chapitre _applications_ - Pour Netatmo : Vidéo = fenêtre glissante assez courte. Du fait des limitations des produits, on ne peut pas buffuriser trop longtemps. - Les contraintes sur cette bufferisation sont surtout pour l'inférence. Pas pour l'entrainement.