# Chronologie et causes des dysfonctionnements de la collecte Logement 2023 séquence 1 & 2 -version Sigaud
rédaction filière d'enquête, version du 27/10/2023
>[name=Romain] Deux petites suggestions de présentations : un petit tableau de synthèse en début de document, et un ordre de présentation des points détaillés décroissant (des plus graves au plus anodins)

## Synthèse - Eléments

### Sabiane
Bugs ou assimilés (Performance de Back-office) souvent liés à l'articulation avec l'orchestrateur Queen.
Besoin de meilleure maîtrise de l'environnement Sabiane consolidé => recette consolidée
Fragilités infrastructure

### Platine
Problème de maîtrise du process de fonctionnement en conditions réelles d'une enquête (intégration, volumétrie)
Recette Moog
Recette Stromae
Fragilités infrastructure

### Filière
Fragilités infrastructure
Qualité de recette et recette "intégrée"
Complexités techniques côté orchestrateur (différentes versions, gestion fine du cache, dépendances keycloack and co'...)

### SABIANE - Nature : Gestion des montées de version - Gravité : forte - 02/11/2023 - Plus d'accès aux questionnaires par les enquêteurs dans Sabiane-Collecte
* Identification du dysfonctionnement : Remontée DEM
* Nature du dysfonctionnement : Problème de gestion du cache suite à mise à jour Dramaqueen.
* Impact sur la collecte : Bloque la collecte.
* Correction apportée : En attente de décision...

### SABIANE - Nature : Bug - Gravité : en cours de qualification (faible?) - 20/10/2023 - Doublons parfaits et imparfaits

* Idenfication du dysfonctionnement : en cours d'expertise
* Nature du dysfonctionnement : présence dans les outputs Kraftwerk
* Impact sur la collecte : 133 ue (sur les 8000 métropole) sont des imparfaits et nécessitent une règle métier pour la remise en collecte pour la S2 tel (donnée le 24/10 par le métier collecter => prendre la plus récente). Les doublons parfaits se règlent facilement même si l'objectif étant de ne pas en avoir.
* Correction apportée : trop tôt pour le moment. Les logs des api vont être expertisées
* Pistes d'améliorations : Rôle du TTP, communication autour de la non utilisation de deux navigateurs pour les enquêteurs

### PLATINE - Nature : Prise de risque sur un déploiement?? (Stromae) - Gravité : forte - 17/10/2023 - Collatéral du IosGate : souci de persistance des données, coupure de service du mardi ??? à 15h20
* Idenfication du dysfonctionnement : MOA en production
* Nature du dysfonctionnement : Pour tous les répondants. Retour à la 1ere page du questionnaire et perte des données saisies pour les répondants si perte du token d'authentification
* Impact sur la collecte : baisse du taux de réponse, image de l'Insee, pendant 2h.
* Correction apportée : downgrade de stromae 2.4.10 vers la 2.4.9 (version noIphone). La version sera restée du 16/10 11h00 au 17/10 10h30
* Pistes d'améliorations : tester en beta les montées de version. Cahier de recette à compléter avec ce cas d'utilisation. Processus de feu vert pour mise en production à revoir (ne peut pas seulement incomber à la MOE d'enquête).

### PLATINE - Nature : Bug (Moog) - Gravité : faible - 17/10/2023 - Souci d'affichage de la colonne des Plis Non Distribués PND (nb PND=0)
* Idenfication du dysfonctionnement : Cpos
* Nature du dysfonctionnement : incohérence de l'affichage dans les tableaux de suivi de la collecte moog
* Impact sur la collecte : aucun, pas d'incohérence des données
* Gravité : faible
* Correction apportée : Livraison d'un correctif moins de deux heures après l'annonce (touchant toutes les enquêtes en production sur Platine)
* Pistes d'améliorations : sans objet

### PLATINE - Nature : Infrastructure - Gravité : forte - 16/10/2023 - Incident réseau : accès impossible à la plateforme, coupure de service du lundi 16/10 12h00 au mardi 17/10 8h00??? avec page de maintenance posée le 16/10 à 17h40
* Idenfication du dysfonctionnement : équipe informatique collecter
* Nature du dysfonctionnement : aucun accès externe à Platine alors que la plateforme restait accessible en interne (et donc pas d'alerte QoE)
(* Cause : Suite à un constat de "mauvaise configuration" depuis la mise en production de Platine par les équipes réseaux (constat d'incohérence : URL associée à une pool d'ip publique internet mais taguée comme service pour les agents internes), les équipes réseaux ont voulu corriger cette incohérence de configuration en fermant l'accès externe. Configuration initiale rétablie.)
* Impact sur la collecte : une journée sans collecte possible. Image de l'insee surtout lors de la période sans page de maintenance. Impact côté PIC
* Correction apportée : intervention du réseau pour rétablir l'exposition des services Platine en externe
* Pistes d'améliorations : mise en place d'une supervision externe (solution uptrends) demandée à la supervision, concertation des différentes parties prenantes (équipe de développement par exemple) pour modifier des configurations impactantes, acculturation des équipes sur la nature du service rendu à l'utilisation finale (Platine = collecte web = service externes)

### SABIANE - Nature : Performances (API) - Gravité : faible - 20/10/2023 - Accès ralenti aux tableaux de suivi de Sabiane-gestion
* Idenfication du dysfonctionnement : Dem
* Nature du dysfonctionnement : lenteurs voire non affichage de certains tableaux (nationaux = long, plus fins (site/enqueteur) = impossible)
* Impact sur la collecte : mineur, difficulté d'organisation du travail des gestionnaires surtout lors de la fin de séquence (interséquence très courte)
* Correction apportée : aucune étant donnée la proximité de la fin de la séquence 1 tel, extraction de données faite par l'informatique (processus non cible) et donnée aux dems pour leur permettre de finaliser leur travail.
* Pistes d'améliorations : travaux d'optimisation sur l'api Sabiane gestion, initiés dès à présent pour être opérationnel avant le démarrage de la s2 tel début novembre
* Communication importante effectuée le 23/10/2023 (dem, chefs de dem, amoa Sabiane, casua, référents sabiane, Moae, etc.)

### SABIANE - Nature : Infrastructure (KeyCloack) - Gravité : faible - 12/10/2023 - problème d'authentification général lié à Keycloak
* Idenfication du dysfonctionnement : Dem
* Nature du dysfonctionnement : impossibilité de synchroniser, pas de sabiane gestion opérationnel
* Impact sur la collecte : mineur, travail en collecte hors connexion
* Correction apportée : correctif DSI pour l'ensemble des applications Insee
* Pistes d'améliorations : sans objet
* Communication importante effectuée le 12/10/2023 (dem, chefs de dem, amoa Sabiane, casua, référents sabiane, Moae, etc.)

### SABIANE - Nature : Performances (Paradonnées) - Gravité : faible - 10/10/2023 - Synchronisation impossible du poste de collecte
* Idenfication du dysfonctionnement : dem
* Nature du dysfonctionnement : perte de connexions avec la base de données
* Impact sur la collecte : faible, le questionnaire reste accessible en hors ligne sans synchronisation
* Correction apportée : redémarrage de l'api
* Pistes d'améliorations : augmentation du pool possible de connexions sur la base de données faite le 10/10
* Communication importante effectuée le 10/10/2023 (dem, chefs de dem, amoa Sabiane, casua, référents sabiane, Moae, etc.)

### PLATINE - Nature : Bug (Stromae) - Gravité : moyenne - 09/10/2023 - IosGate : accès impossible au questionnaire pour les utilisateurs Iphone/Ipad
* Idenfication du dysfonctionnement : pic
* Nature du dysfonctionnement : accès impossible au questionnaire après authentification pour les utilisateurs Ios.
* Impact sur la collecte : baisse du taux de réponse
* Correction apportée : recherche d'un correctif toujours en cours
* Pistes d'améliorations : tester en beta les montées de version. Recetter spécifiquement sur iPhone en utilisant des outils de tests multinavigateurs (des licences browserstack ont été demandées)

### PLATINE - Nature : Infrastructure (Bug Spoc) - Gravité : faible - 06/10/2023 et en fait avant le 19/09 - Envoi de mails en double
* Idenfication du dysfonctionnement : pic/moe logement
* Nature du dysfonctionnement : envoi de mails multiples par SPOC
* Impact sur la collecte : très faible, mais pas très joli de spammer les répondants
* Correction apportée : correctif réputé fait par le DOT mais pas validé (tjs des doublons).
* Pistes d'améliorations : Poursuite des travaux en cours avec le Dot.

### PLATINE - Nature : Prise de risque dans la mise à jour du questionnaire - Gravité : forte - 04/10/2023 - Erreur dans le modèle de questionnaire Logement
* Idenfication du dysfonctionnement : moe Logement
* Nature du dysfonctionnement : impossibilité de mener le questionnaire jusqu'à son terme.
* Impact sur la collecte : perte de données potentielle, heureusement évitée avant le début de la collecte pendant l'interséquence
* Gravité : forte dans le risque, faible dans le tempo car à J-3 de l'ouverture de la collecte
* Correction apportée : intervention de l'équipe informatique pour modifier sans filet le questionnaire en base de données
* Pistes d'améliorations : meilleure validation du questionnaire avant le début du TTP, validation définitive du questionnaire lors du TTP. La plateforme était opérationnelle pour recevoir ces deux questionnaires, le souci se situe dans le processus de validation du questionnaire qui intervient trop tard par rapport aux dates en adéquation avec le processus

### PLATINE - Nature : Bug (Moog) - Gravité : moyenne - 25/09/2023 - Impossibilité de saisir des évenements de collecte dans Moog
* Idenfication de dysfonctionnement : cpos
* Nature du dysfonctionnements : Bug applicatif identifié le premier jour de la séquence 2
* Utilisateur impacté : Assistance 2ème niveau PENM (unité GEME)
* Impact sur la collecte : relance mail retardée faute d'exhaustivité de l'information
* Correction apportée : développement d'un correctif déployé le 3 octobre
* Pistes d'améliorations : recette métier plus ciblée et réaliser des TTP de A à Z couvrant l'ensemble du protocole (notamment les phases d'interséquence).

### PLATINE - Nature : Performance (Back-Office&Inter-séquence) - Gravité : moyenne - 21/09/2023 - Difficultés lors de la suppression des données entre les séquences 1 et 2
* Idenfication de dysfonctionnement : cpie
* Nature du dysfonctionnements : suppression rendue instable via l'api étant donné le volume d'unités enquêtées. Problème de validation du protocole (volumétrie) avec un impact fonctionel sur la plateforme (api endpoint delete insuffisant)
* Impact sur la collecte : retard possible sur le lancement de la séquence suivante diminuant le temps de la collecte
* Gravité : moyenne
* Correction apportée : intervention de l'équipe informatique pour supprimer les données (25/09/2023 avant 9h)
* Pistes d'améliorations : revue de la fonctionnalité de suppression des données. Tester ces fonctionnalités avec des niveaux de charge tels qu'en prod

### PLATINE - Nature : Oubli humain?? - Gravité : faible - 18/09/2023 - Remplissage de questionnaire malgré la date de fin de collecte passée
* Idenfication du dysfonctionnement : pic/moe logement
* Nature du dysfonctionnement : accès au questionnaire après la fin de collecte. Le bouton d'accès n'a pas été désactivé correctement.
* Impact sur la collecte : ?
* Gravité : faible
* Correction apportée : consigne à insee contact
* Pistes d'améliorations : évolution de l'architecture du portail de promotion pour activer le bouton dynamiquement

--> l'aiguillage devrait bloquer l'accès ?

### PLATINE - Nature : Bug (Stromae) - Gravité : faible ? moyenne ? - 18/09/2023 - Appauvrissement des fichiers de paradonnées web
* Idenfication du dysfonctionnement : moe Logement
* Nature du dysfonctionnement : bug sur l'orchestrateur Stromae
* Impact sur la collecte : perte d'information sur le comportement répondant
* Correction apportée : aucune
* Pistes d'améliorations : standby en attendant stromae v3, fonctionnalité non identifiée dans un processus de recette outils (recette à la frontière concevoir/collecter)

### PLATINE - Nature : Infrastructure (fenêtre de service) - Gravité : forte - 09/09/2023 - Accès impossible au questionnaire
* Idenfication du dysfonctionnement : signalement CPOS logement durant le weekend + confirmation PIC le lundi matin
* Nature du dysfonctionnement : accès impossible au questionnaire après saisie des identifiants de connexion. En cause une saturation progressive (fenêtre de service dysfonctionne) des 3 couloirs liée à un pic de charge sans que cela ait été détecté (absence de healthcheck).
* Impact sur la collecte : impact sur le taux de collecte, désincitation à répondre pour les répondants ayant essayé de se connecter
* Correction apportée : relance des services le lundi 11/09 à 8h30
* Pistes d'améliorations : mise en place de healthcheck (done), étude/instruction différence par rapport à la validation en pré-prod test de charge (piste : fds ne redémarre pas les serveurs d'applications : fuite mémoire cumulative sur les serveurs d'applications ? autre paliatif que le rédémarrage réguliers. Refonte de l'API concernée en cours)

### PLATINE - Nature : Référencement - Gravité : Faible - 09/2023 - Référencement de la page coleman de logement 2022 éclipsant logement 2023 sur Platine pour quelques utilisateurs
* Idenfication du dysfonctionnement : assistance/moe Logement ?
* Nature du dysfonctionnement : accès impossible au questionnaire pour les répondants égarés parce qu'ayant utilisé le premier lien du moteur de recherche pointant vers Coleman (mieux référencé que Platine)
* Impact sur la collecte : surcharge assistance et
* Correction apportée : mis à jour du portail Coleman pour aposer un message indiquant la migration de la collecte vers Platine
* Pistes d'améliorations :

### SABIANE - Nature : Bug - Gravité : Faible - ??? - Accès impossible aux nomenclatures en relecture de questionnaire dans Sabiane-Gestion
* Identification du dysfonctionnement : ???
* Nature du dysfonctionnement : ???
* Impact sur la collecte : relecture partielle
* Correction apportée : ???

### MASSIVE-ATTACK - Nature : ??? - Gravité : ??? - Problème de chargement depuis une QF ?
* Identification du dysfonctionnement : ???
* Nature du dysfonctionnement : ???
* Impact sur la collecte : relecture partielle
* Correction apportée : ???

### SABIANE - Nature : ??? - Gravité : ??? - Tous les questionnaires marqués à relire depuis Sabiane-Gestion
* Identification du dysfonctionnement : ???
* Nature du dysfonctionnement : ???
* Impact sur la collecte : relecture partielle
* Correction apportée : ???

### PLATINE - Nature : Bug (Stromae) - Gravité : Faible - Page "reprise à la dernière question" ne marche pas
* Identification du dysfonctionnement : TTP Logement ?
* Nature du dysfonctionnement : Bug de Stromae
* Impact sur la collecte : Non déterminé
* Correction apportée : Correctif du bug à déployer