# [DATASTORM] CR 29/06/21

Participants :
* Datastorm : Thomas, Frank
* The Source : Marie, Bertrand, Maxime

## Objet

Réunion de cloture. Dernières questions de notre côté + demande d'un avis sur les axes d'amélioration.

## Contenu des échanges

### Questions

- Partir linéaire de logistique régression = seul balancing score connu pour le cas de multiple traitements

Score d'indépendance conditionnelle => on admet que les targets sont indépendantes de T sachant W. Doit rester vrai si on change W par score de propension. En binaire n'importe quel modèle. Multitraitement => multidimensionnel. Plus une probabilité mais plusieurs. Stratification sur plusieurs dimensions pas possible. Il y a une référence dessus (lire)

- Weighting

Manipulation algébrique. Va nous l'écrire.

- Problème du KPI variable par saisonnalité

- p value bootstrap / p value tuckey pas raccord, normal ?
Moyenne de p value pas ouf. Bootstrap ok.

- Feature selection => quelle métrique d’evaluation de performance du modèle ? Balance des covariates ? Overlap ?

Pas data-driven surement mieux à faible volumétrie.

- Est-ce qu'on peut faire des moyennes de p-values pour obtenir un critère d'évaluation global ?

Non.

- Qu'est-ce qu'on utilise comme critère pour comparer des modèles ?

Rien n'est vraiment utilisable.

- Comment doit être scalé le nombre de strates ? Est-ce que c’est selon le volume ou selon le nombre de covariates ?

On fixe, on joue pas à ça pour l'instant.

- Meilleur utilisation du bootstrap : est-ce qu’on sort une p-value du bootstrap (comparaison intervalle optimal VS en dehors, avec Mann-Whitney U par exemple), ou on choisit définie une p-value pour en tirer un intervalle de confiance ?

### Questions Marie

- Mécanique de garde fou ?

On peut estimer la quantitié de biais de sélection corrigée. S'il est trop grand, on peut effectivement avoir un petit warning.
+Distribution du score de propension => overlap.
+Tests de réfutation.
+Covariate balancing.

- Creative Wall : quelles précautions pour faire du multi-client ?

Résidu/standardisation (voir dernier axe d'amélioration).

### Axes d'améliorations

- Changer la définition des strates, faire par valeur et non par rank

Strates équilibrés est utile pour ANOVA/Tukey's HSD etc., même si il y a des désavantages.
Ranking assez sécure. Toutes les références biblio utilisent ça.

- Implémenter les tests de réfutation

Test de permutation sur les traitements ou target => peut être fait à la main, bonne idée de les rajouter surtout si on ne peut pas A/B tester certains tests. On devrait en intégrer un.

- Trouver un mécanisme pour mieux choisir les covariables

Comprendre pourquoi certains traitements/covariables sont très liés.
Ex : placement très déséquilibré. Qu'est-ce qu'on peut faire ? On sort ? On teste de rééquilibrer ? Pourquoi ça conditionne beaucoup le traitement ?

- Rassembler des bins si effet similaire => comment recalculer les intervalles de confiance et les p values

Pas abordé mais le boostrap semble bien pouvoir répondre au problème.

- D'autres modèles que la régression logistique en tant que modèle de propension ?

On garde notre régression logistique. Peu exploré, sujet de recherche à part entière.

- Retenter un jour du double robuste, ou bien du double ML ? Quelle serait plus-value par rapport à un score de propension ?

Effet de traitement hétérogène (on rajoute la variable X). Nécessite un besoin métier particulier.
On ne sait pas, a priori, si Double ML est meilleur pour neutraliser le biais de sélection qu'un modèle de propension.

- Debiaiser la target avec des variables controle puis utiliser le résidus, pour faire des modèles plus globaux

C'est une bonne idée. Corriger Y avant de faire le modèle de propension.
Trop de variables = très mauvais pour un score de propension.
Ou bien juste standardiser si une seule variable (ou retrancher la moyenne ?).

### Next steps

- Manipulation algébrique sur papier pour le weighting
- Relecture de la doc quand je l'enverrai