# Rapport Réseaux de Neuronnes pour le Pricing

### Loïc Simeon / Matthieu Rambaud

## Méthodologie

Pour créer notre réseau de neuronnes, nous avons procédé de façon incrémentale. En commençant par un modèle des plus simple avant de petit à petit commencer à le complexifier.

## Réseaux testés
Pour l'ensemble des réseaux que l'on a entrainés, nous avons utilisé les paramêtres suivant : entrâinement sur 1000 epochs et le pas de validation à 10.
#### Réseaux n1

> Batch Size : 1
> 2 couches, 2 neurones sur la première, 1 sur la deuxième
Fonction d'activation : LeakyReLU
Algorithme de descente de gradient : classique avec FixedLearningRate à 0.1

Les valeurs numériques des résultats ont explosées. Voici nos différentes hypothèses sur la nature de cela :

- les données ne sont pas normalisées
- la fonction d'activitation LeakyReLU n'est pas adaptée (cf elle n'est pas bornée)
- Le FixedLearningRate est trop élevé

Pour répondre à ce problème d'explosion des poids, nous avons après de nombreuses recherches, vu qu'il serait intéréssant de changer la fonction d'activation pour une fonction qui serait bornée ou tout du moins plus souple. Nous avions d'abord vu des articles sur SoftSign, cependant cette dernière n'est pas disponible dans le common et nous n'avons pas pu la tester. Par la suite, nous avons vu de nombreux articles nous indiquant d'utiliser Tanh dans le cadre de notre problème c'est pour cette raison que les réseaux suivant sont proposés avec l'utilisation de Tanh dans un premier temps.

#### Réseaux n2

Testons de changer la fonction d'activation

> Batch Size : 1
> 2 couches, 2 neurones sur la première, 1 sur la deuxième
Fonction d'activation : Tanh
GradientAdjustmentParameters des couches : FixedLearningRate (0.1)

Les résultats obtenus ne divergent plus mais le réseaux ne semble pas vraiment apprendre. L'erreur est constante. Nous allons chercher à augmenter la taille de ses paramètres. En effet, peut-être que le réseau est trop petit et donc n'arrive pas à apprendre correctement.

#### Réseaux n3

Testons d'augmenter le nombre de couches, du batch size et du nombres de neurones

> Batch Size : 8
> 4 couches : 8, 8, 8 et 1 neurones
Fonction d'activation : Tanh
Algorithme de descente de gradient : classique avec FixedLearningRate à 0.1

Le réseaux ne semble toujours pas être efficace, de plus il ne semble pas y avoir de véritable apprentissage, en effet l'erreur ne descend pas vers 0.
Essayons plutôt de changer la méthode de grandient.

On va donc essayer de baisser le learning rate énormément et vérifier si cela nous donnes de meilleurs résultats.

#### Réseaux n4
Batch Size : 8
> 4 couches : 8, 8, 8 et 1 neurones
Fonction d'activation : Tanh
Algorithme de descente de gradient : classique avec FixedLearningRate à 0.0001

On remarque ici une amélioration de nos résultats et cette fois-ci, le réseau arrive à apprendre. Le problème venait bien du leanring rate. Nous souhaitons maintenant essayer une autre descente de gradient, pour que l'apprentissage soit plus rapide.

#### Reseaux n5
> Batch Size : 8
> 4 couches : 8, 8, 8 et 1 neurones
Fonction d'activation : Tanh
GradientAdjustmentParameters des couches : Momemtum (0.0001,momemtum = 0.4)

Cette fois-ci, nous avons pu observer une nette diminution dans l'erreur passant cette fois-ci à 1.8, alors qu'avant nous étions encore à 5.

#### Reseaux n5.1
> Batch Size : 8
> 4 couches : 8, 8, 8 et 1 neurones
Fonction d'activation : LeakyRelU
GradientAdjustmentParameters des couches : Momemtum (0.0001,momemtum = 0.4)

On a donc repris le même réseau que précedemment mais cette fois-ci en reprenant LeakyRelU comme fonction d'activation. Le résultat fut immédiat, en effet, nous sommes passés à une erreur de 0.9 après ce changement.

#### Reseaux n6

Pour ce réseau, nous nous sommes demandé si le fait de mettre une couche de standardisation des inputs au début de notre réseau. Le but cette fois-ci est comme son nom l'indique, de stanrdardiser les entrées, en effet après avoir regarder ce que le réseau prend en entrée, nous avons pensé qu'il serait intéréssant de normaliser nos données. En effet, certaines features ont de base une valeur moyenne de 100, mais un écart type de 40, il faut donc transformer les données pour avoir lors de nos calculs dans notre réseau à ne manipuler plus que des données ayant des valeurs toutes du même ordre de grandeur. Ainsi l'apprentissage serait plus efficace en théorie.

> Batch Size : 8
> 5 couches : Standardiseur(taille 7) ,8, 8, 8 et 1 neurones
Fonction d'activation : LeakyRelU
GradientAdjustmentParameters des couches : Momemtum (0.0001, momemtum = 0.4)

Le résultat fut assez intéréssant, nous sommes passés grâce à ce changement à une erreur de seulement 0.6.

#### Reseau n7

Nous avons donc par la suite voulu essayer une descente de gradient plus efficace en utilisant Adam. Avec les paramètres : stepSize : 0.002, rho1 = 0.99, rho2 = 0.999 et delta = 10E-8

On a repris le même nombre de couches et de batchSize.

Le résultat fut intéréssant, avec une erreur finale de 0.5

#### Reseaux n8 et suivant

Par la suite, nous avons voulu essayer de mettre en place de la régularisation, cependant, nous avons pu observer que d'une part notre modèle ne semble pas trop overfitter dans la mesure ou notre erreur de test et d'entrainement se suivent et que l'écart ne se creuse pas. Ainsi, notre modèle est encore en phase d'apprentissage.

Nous avons cependant quand même voulu essayer de mettre en place de la régularisation que ce soit L2, L1 ou Weight Decay, mais dans chacun des cas, notre modèle devient beaucoup moins performant, c'est donc pour cette raison que nous avons décidés de ne pas mettre en place de régularisation dans notre réseau final.

## Descentes de Gradient

Pour différencier les différentes méthodes de descente de gradient, nous avons mis en place une gradient factory, ainsi nous n'avons pas à distinguer les différentes descente possibles par un if.

Note : Sur l'ensemble de nos tests, la dernière couche aura comme fonction d'activation Identity et le reste des couches aura une autre même fonction d'activation.

#### Fixed Learning Rate

##### Description

> Il s'agit de la descente de gradient classique, aucune acceleration n'est faite.

#### Momentum
##### Description

> Nous avons mis en place la descente de gradient de type Momentum, le but de cette descente et d'avoir une vitesse de descente qui va dépendre des gradients précédents, ainsi, la convergence est plus rapide d'une part, et d'autre part il y a un peu moins de risque de dépasser le minimum.

#### Adam
##### Description

> Nous avons aussi mis en place la descente de Gradient nommée Adam. Nous avons décidé de mettre en place cette descente de Gradient car elle est très réputée pour être une des descentes les plus efficace.

### Méthodes de Régularisation

#### L2Penalty
##### Description

> Nous avons mis en place la régularisation de type L2 comme demandée dans le sujet. Cette régularisation est la première que nous avons voulu mettre en place dans le but d'éviter les risques d'overfitting de notre réseau.

#### L1Penalty
##### Description

> Nous avons décidé d'implémenter la régularisation L1, car cette dernière ressemble fortement à la régularisation L2, à la différence près que cette fois-ci, on doit prendre en compte aussi le signe du paramètre. De plus, comme cette régularisation à pour but de faire ressortir les paramètres essentiels et de faire tendre vers 0 les entrées ayant la plus faible importance. Nous nous sommes dis que le fait de la mettre dans notre réseau pourrait être intéréssant du point de vue de l'interprétabilité. En effet, si l'on remarque après coup que certains paramètres n'apportent que du bruit, on pourrait par la suite les supprimer pour réduire la dimension du problème et donc avoir des modèles plus simples qui pourraient fournir des résultats peut-être plus intéréssants.

#### Weight Decay
##### Description

> Nous avons mis en place la régularisation de type Weight Decay, le but de cette régularisation et de ne pénaliser que les poids au moment de la mise à jour des paramètres, et de ne pas toucher au gradient.
Si nous avons décidé de l'implémenter, c'est principalement car elle est réputée pour fonctionner de façon très efficace avec la descente de gradient de type Adam, ainsi nous voulions vérifier cela.

#### InputStandardizedLayer
##### Description

> Nous avons mis en place cette couche car nous avons pu remarquer lors de nos recherches qu'il était vivement recommandé dans le cadre du machine learning en général, de s'assurer que les données sur lesquelles on décide de travailler, possèdent pour chaque feature, des valeurs du même ordre de grandeur. C'est donc pour cette raison que nous mis en place cette couche.

## sources :

Description softsign : https://sefiks.com/2017/11/10/softsign-as-a-neural-networks-activation-function/

https://inside-machinelearning.com/fonction-dactivation-comment-ca-marche-une-explication-simple/#tanh

Description de la régularisation L1 par rapport à L2:
https://ichi.pro/fr/regularisation-l1-vs-l2-et-quand-utiliser-laquelle-225621108098932

Paramétrisation et explication de Weight-Decay :
https://medium.com/unpackai/stay-away-from-overfitting-l2-norm-regularization-weight-decay-and-l1-norm-regularization-795bbc5cf958

Importance de la standardisation des features:
https://analyticsindiamag.com/why-data-scaling-is-important-in-machine-learning-how-to-effectively-do-it/