Try   HackMD

ARCHIVES Points hebdos du GMPC jusqu'au 11/06/2021

Semaine 23 du 7 au 11 juin [Clos]

Coltrane

  • Preprod - tests de charge - scalabilité : à l'arrêt côté tir, les scripts des scénarios ont bien avancé
  • Prod : batchs à l'arrêt, la collecte est opérationnelle
    • Une sauvegarde des bases sans arrêter les tomcats est à l'étude en préprod
    • Une modification du WS d'extraction sera peut-être réalisée afin de "découper" l'extraction des données enregistrées depuis lundi matin
    • Plus le temps passe plus la situation est critique (comme pour beaucoup d'appli je pense)
    • La Dares n'aura surement pas ses données de collecte pour lundi prochain

Eno

  • Travaux sur les boucles Lunatic pour enquête logement
  • Modification sur xforms pour passer "lien-deconnexion" en "logout-uri" pour l'internationalisation
  • Modification en cours de recette sur la page de garde des pdf pour ménage

Généric

Incidents de production

  • Impossible de générer les courriers d'ouverture pour 2 enquêtes dont la collecte débutait lundi
  • Une solution de contournement a dû être mise en place pour maintenir la formation Antipol en qf2

Développements

  • Validation des développements sur les non réponses (attente fin des incidents en cours pour mise en prod)
  • Intégration de SPOC dans Generic pour informer les responsables d'enquête des actions des batchs
  • Reprise intégration du SST dans Generic pour lancer les personnalisation d'une enquête à la fois

Enquêtes

  • premiers tests sur l'enquête Déchets Service suite à la revue du questionnaire par le métier + une montée de version Lunatic + des optimisations côté Generic. Le questionnaire s'affiche en 2/3 secondes au lieu de 2/3 minutes.

RMéS

Complété par

  • Alice

  • François

  • Olivier

  • Ophélie (congés)

  • Loïc

  • Le support commence à travailler sur :

    • le déréferencement sur l'Apache qui héberge Impala.
    • le passage à la version 6.1 de Colectica
  • Deuxième atelier avec le prestataire pour le marché d'architecture : plusieurs pistes ont été évoquées et vont être comparées par le prestataire.

Concepts

  • poursuite des développements sur Magma

Géographie

  • Les régions n'ont pas été chargées en recette lors de la dernière mise à jour. Il fait trouver si le problème vient du fichier fourni par Réfigéo (en attente de la réparation d'applishare) ou du batch de chargement. Une fois ce problème corrigé, les données seront chargées en production.

Listes de codes

  • Branchement Pogues-Colectica : prise en compte des retours de recette

Nomenclatures

  • Correction d'un bug dans Bauhaus lié à la base de données obsolète
  • Réflexions avec l'EPS pour le stockage des "libellés d'usage" de la PCS2020

Opérations Statistiques

Questionnaire

  • Pogues : développement d'un endpoint pour la conversion des questionnaires spécifiés avec Xpath vers VTL

Structures et produits

Variables

Sicore

  • Sicore :
    • migration du WS en tomcat 9 qf2 : problème de configuration des accès FTP sur les 3 couloirs
    • indisponibilité des plateformes de QF1, QF3 et du troisième couloir de la QF2 (coeur Sicore HS)
    • les problèmes précédents sont liés à l'incident applishare
    • documentation du processus de MAJ des environnements au SNDIL en cours
  • Syrauco : ras

Ofats

  • intégration manuelle de fichier excel en anomalie (chargement une fois les batchs relancés)
  • comité de suivi le 7/06, relances bloquées suite à l'incident applishare

Semaine 22 du 31 mai au 4 juin [Ouvert]

Coltrane

  • Tests de charge Preprod :

    • Scénario 1 questionnaire simple : tir unitaire et nominal à 800 actes métier par heure => ok
    • Scénario 2 questionnaire lourd : tir unitaire => ok
    • Un script de mise à jour des adresses mails pour les 33 000 comptes va être exécuté pour éliminer les erreurs liées à la mutualisation des comptes
    • A venir :
      • le scénario 1 à 1200 actes métier par heure et le scénario 2 à 800 actes métier avec une rampe longue pour analyser la montée en charge jusqu'à 800 actes métier par heure
      • Ecriture Jmeter des scénarios 5, 3 puis 4
  • Préparation de la mise en Prod de la scalabilité (22 juin ?) :

    • les 2 nouvelles bdd orbeon sont disponibles et elles sont dans Glowroot
    • le second pool orbeon est à jour
    • la mise en prod de la redirection F5 devrait se faire la semaine du 14 juin
    • les livrables vont être réalisés courant de semaine prochaine pour compléter le ticket kanboard

Eno

  • Recette Ok sur la refonte de la numérotation dans Eno (simplification). Une communication va être effectuée aux intégrateurs et à l'équipe Coltrane.
  • Travaux CI (github actions) sur l'automatisation de la publication de l'image sur dockerhub : des difficutés rencontrées (l'application ne démarre pas lors du déploiement de l'image créée sur le SSPCloud)
  • Passage des runners de gitlab au CEI : des problèmes de proxy et de connexion refusée ont mobilisé de l'énergie et du temps sur quelque chose qui devait être relativement indolore.

Généric

Incidents

  • L'application est restée indisponible une petite demi-heure vendredi après-midi suite aux incidents en cours au CEI

Développements

  • Reprise du développement sur les NR suite à un bug détecté en recette
  • Début de recette sur le batch échantillon

Ofats :

  • intégration manuelle de fichier excel en anomalie : des anomalies de structures, habituellement cela ne concerne que les données (type ou longueur de champs)
  • bascule Tomcat 9 en hors prod, bascule en prod prévue à partir du 16/06

RMéS

Complété par

  • Alice

  • François

  • Olivier

  • Ophélie

  • Loïc

  • Passage à Tomcat 9 d'une base de données Sesame et une graphDB. Pas de régression constatée, une plateforme Datalift va donc migrer également pour recette.

  • Réflexion sur la fusion des applishare, et la fusion des espaces de batchs.

  • Les nouvelles licences GraphDB devraient être disponibles début Juillet. Côté EPI, il reste à tester la sécurisation de l'accès au Workbench.

  • Premier retour de la prestation d'architecture. Un deuxième atelier aura lieu le 9 juin pour préciser les critères de sélection de la solution finale.

  • Naissance de Magma : Mon Api de Gestion des Métadonnées Actives qui permettra de consulter les métadonnées avant leur validation. Melodi est le premier client identifié.

  • Rétrospective d'organisation de l'équipe

Concepts

  • Deux premiers webservices sur l'appli Magma: liste des concepts et concept détaillé

Géographie

Listes de codes

  • Pogues : prise en compte des retours de recette concernant le branchement à Colectica

Nomenclatures

Opérations Statistiques

Questionnaire

  • Pogues-Eno :
    • Travaux pour réparer les pipelines gitlab suite à la mise en prod des runners au CEI (également sur Bauhaus) (voir Eno)
    • Travaux pour le déploiement automatisé sur le SSP Cloud (voir Eno)
  • Pogues :
    • Réunion de lancement de sprint
    • Réunion avec la MOA concernant les droits sur l'application : dans un premier temps, pas de gestion de rôles mais un filtrage sur les droits d'accès à uniquement les concepteurs (plus d'accès universel à Pogues)

Structures et produits

Variables

Sicore

  • Sicore :
    • migration du WS en tomcat 9 (qf1,qf3 ok, qf2 en cours)
  • Sicore /Sirene 4 :
    • réunion préparatoire pour l'expression du besoin Sirene 4 vis à vis de Sicore
    • l'arrivée en production de Sirene4 (pour la partie codification) devrait avoir lieu début 2022
    • côté Sicore, les travaux à planifier avec le CEI concernent (calendrier à définir avec le CEI) : l'audit et l'amélioration de la QF2 (Sicore + WS), la mise à disposition d'une nouvelle architecture dédiée à Sirene4 en prod interne (Sicore + WS) à l'image de celle déjà déployée en DMZ pour l'enquête emploi, des tests de charges sur cette dernière (du 19/11 au 17/12/21)
  • Syrauco : ras

Semaine 21 du 25 au 28 mai [Clos]

Coltrane

  • Tests de charge Preprod :

    • finalisation de l'architecture scalable, nettoyage des bdd orbeon et sauvegarde des 2 bdd orbeon et de la bdd pilotage dans leur version "initiale"
    • script de réinitialisation (suppression des données de collecte) livré dans les bdd orbeon
    • écriture des scénarios en jmeter en cours => Risque si le temps de réalisation des scripts est très long (seul le premier scénario sur 5 est en cours)
    • demande d'avis sur la longueur du scénario 2 (OpiseServ avec 87 produits) une solution alternative avec moins de produit est possible
  • Préparation de la mise en Prod de la scalabilité :

    • la création des 2 nouvelles bdd orbeon est en cours
    • le second pool orbeon est mis à jour pour qu'il soit identique au premier
    • la mise en prod de la redirection F5 est en cours de réflexion
    • le ticket kanboard pour la mise en place de l'architecture scalable a été initialisé

Eno

Comité de maintenance le 28 mai
Un compte rendu complet devrait suvire rapidement. Des points de vigilance ont été remontés sur la gouvernance VTL dont l'usage dépasse la filière métadonnées (ex : Résil, ARc, Fideli, ).
Un autre point de vigilance est remonté sur les moyens et l'organisation du passage en maintenance sur la librairie JS Lunatic à prévoir au SNDIL en 2022 (intégration probable au sein du GMPC).

Généric

  • Poursuite des travaux pour optimiser la partie reprise du front
  • Définition de la stratégie de recette du batch échantillon (au moins une vingtaine de scenariis à tester) : ajout d'un batch pour qf permettant d'enchaîner l'exécution d'une série d'étape afin de simplifier la phase de recette
  • Mise en recette d'un patch permettant d'intercepter les "non réponses" sur les checkbox en phase de reprise lors de l'exécution des modules de contrôle
  • Début développement sur l'exécution du batch de personnalisation par SST
  • Passage en tomcat 9 des serveurs de hors-prod
  • Proposition de pistes d'évolutions du questionnaire pour améliorer les temps de chargement de l'enquête DechetsServices

Ofats :

  • intégration manuelle de fichier excel en anomalie
  • bascule Tomcat 9 en qf1 en cours : premières anomalies constatées côté métier, mais elles ne sont pas liées à Tomcat (bugs résiduels non bloquants)

RMéS

Complété par

  • Alice

  • François

  • Olivier

  • Ophélie [congés]

  • Loïc

  • Le marché du CASD pour le développement de Bauhaus a été relancé. Emmanuel Demey reste le développeur sur ce marché.

  • Réflexion sur la refonte des applishares rmés (actuellement par modules) pour ne faire qu'un seul applishare pour l'ensemble du référentiel.

  • Bases RDF : suite à des incidents (en avril), le CEI propose de mettre en place un script (logrotate) pour nettoyer les logs tomcat régulièrement et éviter la saturation. Le support a été sollicité pour mesurer les éventuels impacts.

Concepts

  • Redéveloppement des exports odt, à l'image de ceux pour les Opérations Statistiques
  • Développements sur Gestion-Api

Géographie

Listes de codes RAS

Nomenclatures

  • Echanges avec la MOA sur le RDF des libellés de postes.

Opérations Statistiques

  • Metadata-API : les nouveaux services sont ouverts sur le portail des API

Questionnaire

  • Pogues : ajout d'un endpoint pour la visualisation Stromae V2 depuis le format Json Lunatic.
  • Pogues-Eno : premiers développement pour le passage à VTL

Structures et produits

Variables

Sicore

  • Sicore :
    • déploiement des envionnements Communes en prod le 25/05
    • plantage de Sicore en production le 26/05 (anomalie récurrente pour Sirene 3 qui se solde par un redémarrage de l'application);
    • difficultés rencontrées par Sirene 4 dans l'utilisation du ws Sicore en QF2 : l'intervention de l'équipe réseau du CEI sur du paramétrage, sans effet sur les temps de réponses observés par Sirene 4
    • comité de maintenance le 28/05
  • Syrauco : ras

Semaines 19 et 20 du 10 au 21 mai [clos]

Coltrane

Semaine 18 : Finalisation de la solution de redirection pour la mise en place de la scalabilité (F5)

Après de multiples tests, la solution initialement envisagée de rendre totalement transparente la mise à disposition d'un deuxième pool Orbeon Exist notamment dans les URL auxquelles accèdent les répondants, via des règles posées sur les F5, n'a jamais abouti à une résultat satisfaisant (problèmes de cookies, ressources statiques non trouvées, erreurs 403, …).

Lundi 10, il a alors été décidé de passer à une solution plus "maîtrisable" dans laquelle l'appartenance d'une enquête à un pool ou à un autre apparaitrait finalement dans l'URL finale exposée à l'utilisateur ( https://xxx/questionnaire1/xxx ou https://xx/questionnaire2/xxx).

Cette solution a été mise en oeuvre et validée rapidement dans l'environnement de QF3 puis mercredi en préproduction.

Semaine 19 : Mise à disposition des environnements de pré production fonctionnels

Alors que cette semaine, aurait dû être principalement consacrée à l'écriture des scripts permettant de lancer les scénarii de test, elle a finalement servi à finaliser la plateforme de préproduction (validation finale des redirections, finalisation du paramétrage des orbeons et chargement des deux bases avec les jeux de données des tests de charge, montées en version java 11 et tomcat 9). Ces opérations se sont globalement bien passées grâce à un investissement important de l'ensemble des acteurs. Des dumps des bases seront réalisés en début de semaine prochaine avant le début de l'écriture des scripts par l'intégrateur (disponible mardi et vendredi).

Eno

  • Une nouvelle version d'Eno est disponible en production (https://api.eno.insee.fr), la v2.2.7. A noter : plus de transformation markdown > XHTML dans la transfo PoguesXML2DDI (transformation passé en pré-processing des DDI2Out) et la prise en compte des modes de collecte pour les instructions
  • Mise à jour d'Eno sur le SSP Cloud (https://eno.dev.insee.io) avec la dernière version de production

Généric

  • Consolidation de la partie front de l'application avec l'aide de N. Laval : amélioration qualité et optimisation des pages de la partie "Reprise" de l'application pour optimiser le nombre d'appels à la base.
  • Assistance sur le questionnaire de l'enquête Déchets service, très longue à charger
  • Incident sur le batch d'export résolu en stoppant les exports des enquêtes terminées et passage à 4Go de la mémoire

Ofats :

  • intégration manuelle de fichiers excel en anomalie, organisation en cours de mise en place avec l'arrivée d'un nouveau gestionnaire / mobilité prochaine côté administrateur de l'application
  • correction d'un bug dans les exports csv (erreur 500 lorsque l'enquêté était non réppndant en N-1)

RMéS

Complété par

  • Alice

  • François

  • Olivier

  • Ophélie

  • Loïc

  • Architecture : Premier atelier avec l'architecte de Klee pour présenter RMéS et les besoins de communications inter-applicatifs. Les échanges ont été très riches. Le prestataire devrait nous proposer un nouvel atelier dans une quinzaine de jours pour établir les critères pour retenir la solution technique finale.

Concepts

  • Gestion API : Création de l'appli ; services de récupération des listes de concepts (en cours)

Géographie

  • Validation de l'accès à applishare de Réfigéo et echanges sur le nommage des fichiers RDF contenants le COG

Listes de codes

  • Bauhaus : Mise en recette des pages : liste des listes de codes ; recherche avancée ; affichage d'une liste de codes (hors affichage arborescent des codes)
  • Branchement Pogues-Colectica : première recette en QF1

Nomenclatures

  • Batch import-datalift : Mise en recette d'une nouvelle livraison de la PCS2020, en enlevant la date de fin de validité
  • Batch import-datalift : Proposition du chargement des postes en markdown pour prendre en compte les listes. A recetter.

Opérations Statistiques

  • Bauhaus : Correction des droits pour modifier un document en production
  • Bauhaus : Correction des url à la publication d'un document (avec mise à jour des données publiées - 104 documents concernés en production)
  • Bauhaus : Correction du bug qui laissait des connexions (reconnues comme des fichiers par Linux) ouvertes. Recettée et livrée en production
  • Metadata-API : Livraison du swagger pour le portail des API

Questionnaire

  • Mise à jour de Pogues et d'Eno sur le SSP Cloud (https://pogues.dev.insee.io) avec la dernière version de production
  • Demande de plateforme pour la remise en conformité de l'architecture
  • Recette du refactoring "CRA" et correction de bugs

Structures et produits

Variables RAS

EnqProGest :

Arrêt de l'application demandée au CEI

Ofats :

  • intégration manuelle de fichiers excel en anomalie
  • organisation en cours de stabilisation (transfert de compétence au pôle Lifi avec la mobilité à venir côté administration de l'application
  • correction d'un bug dans les exports csv (erreur 500 lorsque l'enquêté était non réppndant en N-1)

Semaine 18 du 3 au 7 mai [clos]

RMéS

Complété par

  • Alice (excusée => congés)
  • François
  • Olivier
  • Ophélie (excusée => absente)
  • Loïc
  • Michael :)

Concepts

Géographie

Listes de codes

  • Pogues : Mise à disposition en QF1 de la recherche de liste de codes (branchement Pogues-Colectica)
  • Solr-Zookeeper : montée de version de Zookeeper (3.4.9 vers 3.4.14) qui a engendré le redémarrage des Solr et la perte de la configuration.

Nomenclatures

Opérations Statistiques
Bauhaus Back Office : investigation autour du plantage de l'application (message too many files open) qui se produit lorsque l'administrateur de l'application utilise intensivement la fonctionnalité de chargement de documents dans la partie Opérations. L'analyse du code de l'application ne revèle pas d'erreur manifeste de codage.
La log des tomcat récupérée auprès du CEI montre quant à elle des messages méritant une analyse (Erreurs de niveau GRAVE au lancement).
Un ticket (I210504_000082) a été fait mardi et de multiples relances sans succès pour le moment.

Questionnaire

Mise en place de Keycloak sur Pogues (Front et Back) et corrections de bug suite au refactoring.

Structures et produits

Variables

Sicore

  • Sicore
    • déploiement MAJ pcsdads/dsn 2021 en prod
    • déploiement en QF des MAJ des environnements communes (avec /sans règle)
  • Syrauco : poursuite des travaux de développements des contrôles et de leur intégration dans l'API

Ofats

résolutions de bugs divers liés à la collecte, dont :

  • intégration manuelle de fichiers excel en anomalie
  • anomalie bloquante pour l'accès sur un questionnaire spcécifique suite à un champ altéré dans les données (non reproductible)
  • problème de cohérence d'un contrôle entre Ofats et celui défini dans Pogues/Coltrane (contrôle moins restrictif côté Coltrane qui peut bloquer l'intégration via le batch de certains questionnaires dans Ofats)

Generic

  • déploiement d'un correctif en production pour corriger 2 régressions mineures (actualisation de l'affichage des notes qualité, absence de focus sur les boutons radios de la page gestion, superposition de contrôles à l'affichage)
  • Mise à jour des données en base suite aux différents incidents rencontrés la semaine précédente.
  • Découverte d'une inversion de données sur les fichiers de personnalisation transmis à Coltrane : les effectifs au lancement de l'enquête CIS correspondent à celles de CISUL à numéro de dossier équivalent.
  • Normalisation des texte de commentaire à l'affichage et pour les fichiers exports (remplacement des é par e, )

Coltrane

  • Preprod : la mise en place de la redirection via F5 sur le nom de la source n'est pas fonctionnelle dès qu'on tente d'ouvrir plusieurs questionnaires en simultané. Il y a un souci de "double" cookie.
    • les tests de charge semble compromis
  • Preprod : la base pilotage est plutôt instable ces derniers temps, à voir si cela est dû au fait qu'elle ne soit jamais redémarrée (contrairement à la prod où elle est redémarrée chaque nuit).
  • Développement : point R2D2

Semaine 17 du 26 au 30 avril [clos]

Coltrane

  • Mise en place de la scalabilité : dernière ligne droite
    • La redirection via F5 a nécessité un ajustement pour les renvois sur le portail depuis un questionnaire
    • Une nouvelle répartition des sources, prenant en compte les enquêtes fermées mais toujours existantes, a été fournie au réseau pour compléter l'irule mise en place
    • Les livrables sans keycloak sont en cours de réalisation (test en DEV, reste à vérifier le passage d'un idec à l'autre pour les accès portail et d'un idep à l'autre pour pilotage)
    • Modification à la marge des forms à utiliser pour les tests de charge
    • Modification à la marge des métadonnées d'enquête à utiliser pour les tests de charge
  • Livraison en prod de la version corrigée du batch InformationsSuppression type:reponse
  • Point organisation des tests de charge, réunion de lancement prévue le mardi 11 mai, ouverture d'un canal tchap

Eno

  • Réflexion sur les params
  • Refactoring de la numérotation
  • Développement de la prise en compte des modes de collecte xmlpogues2ddi

Généric

Incidents

  • CIS/CISA/CISUL : aucun contrôle ne se déclenchait à réception des premiers questionnaires. Au chargement de l'échantillon, la variable CAL (chiffre d'affaire au lancement) a été initialisée avec des valeurs décimales au format OO,OO au lieu de 00.00. Ce format causait un dysfonctionnement du module de contrôle qui ne parvenait pas à interpréter les données comme des chiffres, et l'application Generic ne reçont dans ce cas aucun contrôle du module. Les donénes ont été rechargées en base de prod au bon format sur les 30000 dossiers des 3 enquêtes. La note qualité initiale de 125 dossiers a pu être calculé en rechargeant les fichiers en hors prod.
  • CISA : le fichier de personnalisation à l'ouverture de l'enquête contenait des données de personnalisation de l'enquête CIS sur les variables de type roster. Dans le fichier de personnalisation de CISA, les valeurs externes transmises correspondent à celles de l'enquête CIS à même numéro de dossier. Les données collectées ne correspondaient donc plus aux données d'initialisation transmises par les responsables d'enquête.Les 2 fichiers ont été produits lors du même contexte d'exécution. Un nouveau fichier a été généré et fourni à Coltrane pour corriger les données sur la plateforme de collecte. Le script de correction de la base sur les données collectées avant regénération du fichier est en cours de vérification. Le batch va être corrigé pour générer un seul fichier par contexte d'exécution.
  • CISUL : les contrôles ne s'affichent pas sur les questionnaires dont l'effectif au lancement est nul. Il s'agit d'un problème dans l'écriture d'un contrôle du module LSE. Investigation en cours car le contrôle est complexe à écrire à cause de la manière dont la question est posée.
  • TIC : erreur rencontrée lors du chargement du fichier de la liste des sirens "enregistrés non expédiés". L'application bloquait le chargement du fichier sans indiquer le motif de façon explicite (6 code unités de test absents de la base Generic mais présents dans celle de Coltrane)
  • TIC/FAS : problème d'encodage de quelques caractères spéciaux depuis quelques jours à la lecture des fichiers exports générés par l'application par le batch ou le front de l'application.
  • Antipol (recette) : certains questionnaires affichaient une page blanche sur le module I. Le dysfonctionnement était lié au codage d'un contrôle de confirmation dans le module LSE sur la variable MODIF_APE

Développement

  • Correction d'un bug sur l'actualisation de la note qualité à l'enregistrement du questionnaire
  • Travaux de qualité sur le front
  • Génération de fichier 2Pac par batch à partir du DDI d'un questionnaire

Ofats

RMéS

Complété par

  • Alice

  • François

  • Olivier

  • Ophélie

  • Loïc

  • Le premier atelier du marché d'architecture est planifié au 20 mai avec Klee.

Concepts

Géographie

Listes de codes RAS

Nomenclatures

Opérations Statistiques

  • Image Not Showing Possible Reasons
    • The image file may be corrupted
    • The server hosting the image is unavailable
    • The image path is incorrect
    • The image format is not supported
    Learn More →
    Image Not Showing Possible Reasons
    • The image file may be corrupted
    • The server hosting the image is unavailable
    • The image path is incorrect
    • The image format is not supported
    Learn More →
    Bauhaus : Ouverture du module Opérations statistiques en production (v3.0.1), avec les données migrées depuis l'application provisoire.
    • Merci au CEI d'avoir mené les opérations à bien. La mise en production a nécessité le passage à tomcat 9 des serveurs de préproduction et production, la mise à jour de properties et la création de nouveaux espaces applishare.
    • Merci également à la STAC pour son support de dernières minutes pour les logs et l'affichage de swagger (openapi)
  • Metadata-API : Livraison de la v3.0.1 en production pour corriger une erreur de properties

Questionnaire

  • Avancement des travaux refactoring et branchement avec Colectica

Structures et produits RAS

Variables

Sicore

  • Sicore : déploiement MAJ pcsdads/dsn 2021 sur les plateformes de QF (déploiement en prod prévu pour le 6 mai au plus tard)
  • Syrauco : bootcamp React pour intialiser les développements côté IHM /front office

Ofats

  • Remontées de bugs mineurs, non spécifiques à la campagne qui vient de débuter; correction d'un bug et modification dans un export CSV (données de cadrage, export csv ne renvoyant ni l'année de collecte, ni les données N-1); d'autres bugs concernent l'affichage ont été remontés; ceux-ci, quasiment sans impacts utilisateurs, seront étudiés ultérieurement.
  • Pas d'anomalie majeure remontée depuis le lancement de la campagne

Semaine 16 du 19 au 23 avril [clos]

Eno

  • Montée de version des dépendances d'Eno et passage à Java 11 avec le soutien de la STAC > les problèmes de performances semblent résolus avec ces mise à jour.
  • Travaux de passage à XSLT 3.0 et saxon v10.

RMéS

Complété par

  • Alice
  • François
  • Olivier
  • Ophélie
  • Loïc

Opérations statistiques

  • Metadata-API : Mise en production des services opérations statistiques pour Web4G. La MEP s'est bien passée en interne, mais n'a pas aboutie en DMZ (blocage sur le couloir 1).
  • Préparation des données pour la mise en production : les données provisoires ont été chargées en QF, et toutes les documentations d'opérations ont été publiées à la main. Les données en QF sont donc prêtes à basculer en production.
  • Bauhaus : La phase de recette de QF a mis en évidence des fichiers ouverts mais non refermés. Un correctif est à apporter quand l'origine du problème aura été trouvé.
  • Bauhaus : préparation des livrables et complétion du ticket Kanboard avec le RIAP. Tout est prêt pour une mise en production la semaine du 26. Les applishares nécessaires seront créés en même temps.
  • Bauhaus : Correction de bug avant l'export (chevrons dans les champs, metadonnees des documents pour l'export)
  • Bug en production : Les identifiants des opérations et des indicateurs en production (et donc sur Insee.fr) avaient tous changés. Le problème venait du fait que la plage réservée aux identifiants de séries était saturée, et empiétait sur les identifiants opérations/indicateurs. Les deux séries créées en plus ont été identifiées "en dur" avec des identifiants hors plage, et tous les identifiants suivants sont revenus dans l'ordre. Ce problème ne se présentera plus avec l'utilisation du module Bauhaus.

Structures

  • Bauhaus : Présentation du module à la MOA

Géographie

  • La "France de province" est toujours présente dans le COG alors qu'elle ne devrait plus y être. L'anomalie a été signalée à Réfigéo.

Listes de codes

  • Bauhaus : Réunion de lancement du Sprint mardi 20
  • Bauhaus Back : développement d'une API pour la recherche d'une liste de code et d'une autre pour sa récupération

Questionnaire

  • RAS

Generic

Production

  • Déploiement des évolutions du front(montée de version Lunatic, rationnalisation des appels à l'API + quelques modifs d'affichage).
  • Déploiement du nouveau batch d'intégration des fichiers Coltrane.
  • L'enquête CIS est en collecte

Incidents

  • 7 nouveaux tickets suite à la recette d'Antipol. 2 sont résolus.
  • Le fichier de personnalisation pour l'ouverture de collecte de CIS a causé un incident côté Coltrane. Analyse en cours pour éventuellement tronçonner nos fichiers avant envoi vers Coltrane.

Coltrane

  • QF3 Scalabilité :

    • correction de la configuration du serveur apache qfcoltorblht03 pour utiliser la DNS coltrane.recette3.insee.fr
    • correction de la redirection sur le nom exact de l'enquête et utilisation du "referer"
  • Preprod Scalabilité :

    • mise en place de la redirection sur le nom de l'enquête avec utilisation du "referer"
  • Prod :

    • bug courrier : souci de fichier trop gros? de boucle infinie?
    • bug droits pilotage : un certain nombre de gestionnaire n'ont plus accès au site miroir alors qu'ils ont accès à l'ihm Pilotage

Semaine 15 du 12 au 16 avril 2021 [clos]

Coltrane

  • Réunions avec le DOT et R2D2 pour avancer sur l'ouverture de coltrane aux enquêtes en dépôt-retrait.
  • QF3 Scalabilité :
    • mise en place de la redirection sur le nom de l'enquête
    • ménage sur les 2 bases orbeon en cours
  • Java :
    • correction du batch fillstromae pour qu'il charge les 2 bases lorsqu'on fournit autre chose que des questionnaires, des WS essentiellement.
    • merge de toutes les branches java pour préparer le livrable
    • Finalisation du batch InformationsSuppression pour le livrer en preprod et prod dès que possible (Livraisons des WS associés effectuées cette semaine)
  • Preprod Scalabilité :
    • programmation la semaine prochaine de la mise en place de la redirection sur le nom de l'enquête
    • ticket kanboard de demande des 2 futures bases orbeon

Eno

  • Réflexions sur la possibilité de passer la transformation ddi2xmlpogues dans le Eno ful Java (continuité du POC).
    • Mise en production d'Eno v2.2.5 :
      • [ddi2xforms][core] Correction d'un problème à l'enregistrement si oubli d'initialisation d'une variable externe numérique (ou si une variable est personnalisée avec du vide, non convertie en zéro).
      • [poguesXML2ddi][core] Possibilité pour le minimum d'une boucle d'être une formule
      • [ddi2lunaticXML][post-processing] Développement de la pagination (paramètre disponible dans le web-service correspondant)
      • [test] Passage à Junit 5

Généric


Ofats

  • Lancement de la collecte ce vendredi 16/04. Les premières intégrations de questionnaires ont bien fonctionné.

  • Concernant le passage à Généric, un point vendredi 09/04 avec les MOA Ofats et Generic a permis d'acter le décalage du passage de l'enquête Ofats à Généric pour en 2023.


RMéS

Complété par

  • Alice
  • François
  • Olivier
  • Ophélie
  • Loïc

Concepts

Géographie

  • Première réunion pour la PCS2020 prévue début mai

Listes de codes

  • Bauhaus : développement des pages : vue de l'ensemble des listes de codes et vue d'une liste de codes (version temporaire en attendant l'enrichissement de l'API)
  • Déploiement du branchement Pogues-Colectica sur les listes sur la plateforme DV du CEI

Nomenclatures

Opérations Statistiques

  • La mise en production prévue la semaine du 26/04 est remise en question : le CEI ne sera pas forcément disponible et les absences retardent les livrables
  • Correction des documents (fichiers physiques inaccessibles sur applishare)
  • Mise en place des nouveaux applishares en erreur : le ticket n'a été traité que partiellement. Le retour du RIAP devrait permettre de clarifier, et corriger la situation.
  • Finalisation de l'export de sims en .odt et correction de bugs sur les documents.

Questionnaire

  • Refactoring du Front de Pogues : passage à Create-React-App avec le soutien de l'expert JS de la STAC.

Structures et produits

Variables RAS


Sicore

RAS



Generic

  • Travaux en cours pour réduire le temps de chargement de l'enquête Déchets.
  • Mise en place du flux automatique entre l'éditique et generic : des fichiers pnd datant d'éditions précédentes et stockés depuis plusieurs années ont été transféré à l'application et traités par le batch. Seules 2 enquêtes sont impactées, le retour arrière est en cours.
  • Ajout d'un contrôle comparant la date d'ouverture de collecte d'une enquête et l'horodatage du fichier à importer avant traitement.

Semaine 14 du 5 au 9 avril 2021 [Clos]

Sicore

  • Syrauco : travaux sur l'intégration des traitements dans le batch

Ofats

  • Préparation de la campagne 2021 : préparation de l'environnement de prod (dump de la base postgres depuis la QF1 déploiement de l'appli web + batch MAJ), validation par le pôle Lifi

Coltrane

  • Prod : la fenêtre de service de jeudi matin a été plus longue que prévue, les pages de maintenance ont été levées vers 9h (au lieu de 4h30). Des lenteurs réseau en sont sans doute la cause
  • Prod : Correction du bug suite à la pose d'habilitation : une nouvelle version de pilotage a été livrée
  • QF2 : la base Pilotage a été restaurée
  • QF3 : mise en place de la redirection via F5 avec le nom de la source en cours
  • R2D2 : Réflexion sur les possibilités via IHM ou WS voire gestion des dépôts retraits dans coltrane sans utiliser le service R2D2
  • Mise en place de la scalabilité : discussion autour de la bascule et des travaux à réaliser au préalable

RMéS

Questionnaire

  • Mise en production des derniers développements Pogues FO de la prestation Akka
  • Réflexion sur la ré-utilisation des questions dans Colectica
  • Correction de la base de données de production

Opérations statistiques

  • Etant données les circonstances nationales, la mise en production du module Bauhaus est repoussée à la semaine du 26 avril.
  • Correction de l'accès aux documents et de leur publication

Structure

  • Correction de bugs sur des requêtes

Liste de codes

  • RAS

Generic

  • Des régressions sur la partie front de l'application ont été détectées lors de la recette des dernières modifications. La plupart des anomalies sont corrigées.
  • Incident de production : des entreprises relancées ont signalé avoir déjà répondu. Tous les fichiers de réponse des 3 enquêtes actuellement en collecte ont été vérifiés. 51 réponses, sur 2 fichiers et 2 enquêtes différentes, ne s'étaient pas intégrés en base. La cause de l'erreur reste en cours d'investigation.
  • Echanges entre l'équipe statistiques et l'équipe informatique pour résoudre un problème d'affichage des contrôle LSE sur les tableaux dynamiques.

Semaine 13 du 29 mars au 2 avril 2021 [Clos]

RMéS

  • La candidature de Klee a été retenue pour le marché d'architecture.
  • [Bauhaus] Merci à la STAC pour son aide : l'initialisation de Swagger dans Bauhaus précédait le chargement des logs ce qui engendrait une erreur. Une solution a été trouvée pour inverser les initialisations.
  • Livraison par le CEI du premier serveur pour Impala (remplaçant de Datalift)

Questionnaire

  • Prise de contact avec la DIIT sur les pratiques CI/CD sur github et le SSPCloud ainsi que l'open source. Présentation de l'équipe Métallica et de leurs pratiques.
  • Comité de pilotage de la TMA Pogues : fin de la prestation Akka. Plus que des petits travaux de maintenance à l'horizon, repris par l'équipe RMéS.
  • Semaine prochaine : refactoring avec l'expert JS de la STAC du front de Pogues (create-react-app et authentification)
  • Ré-utilisation de questionnaire et lien Pogues-Colectica : travaux sur une question simple

Variables

Géographie

  • Mise à jour en production du fichier RDF contenant l'ensemble du COG

Nomenclatures

  • Présentation par le référent statistique (Fabienne Perray-Gibert) aux référents informatiques des travaux prévus en 2021. L'arrivée fin mai des fichiers contenant la PCS 2020 va nécessiter au préalable la correction de bugs du batch d'intégration, ainsi que l'ajout d'une notion nouvelle pour RMéS : "catégories voisines"

Opérations statistiques

  • Planification des opérations nécessaires à la mise en production du module de Bauhaus

Eno

  • Travaux de refactoring du titling (numérotation) : simplification du paramétrage présenté aux clients Eno
  • Mise en production de nouvelles pages de garde des CNR et MED
  • Travaux sur les tests (montée de version à Junit 5) en collaboration avec la STAC

Coltrane

  • Prod : Couloirs orbeons dédiés à l'IP Insee : la redirection en Prod n'a pas réussi
  • Prod : Bug suite à la pose d'habilitation, des fichiers corrompus bloquent les générations de courriers et mails. La correction des fichiers corrompus a été faite mais l'origine du problème reste inconnu (montée de version eXist?)
  • QF2 : base Pilotage HS, en cours de restauration
  • QF1 : recette de l'abandon des appels restXq
  • R2D2 : Réflexion sur les possibilités via IHM ou WS

Sicore

  • Syrauco : travaux sur l'intégration des traitements dans le batch; identification des besoins en React pour l'IHM

Ofats

  • Préparation de la campagne 2021 : corrections de coquilles dans les données, plannification du dump de la qf1 vers la prod le CEI

Generic

  • Collaboration avec l'équipe intégration à l'écriture d'un script pour automatiser les opérations de génération du json depuis le DDI (récupérer les fichiers dans le dépôt des intégrateurs, appeler le ws eno, copier le json généré dans le répertoire des entrants de Generic)
  • Recensement et renseignements des variables liées aux informations de gestion des dossiers (à l'initialisation et en cours de collecte) dans le modèle de données Generic

Semaine 12 du 22 au 26 mars 2021 [Clos]

RMéS

  • Réception de deux devis pour le marché de conseil en architecture. Les offres seront anaysées la semaine prochaine.
  • L'offre de services RMéS est maintenant hébergée sur le gitlab insee (et plus sur la plateforme innovation).

Nomenclatures

RAS

Concepts

  • présentation par le référent statistique aux référents informatiques des travaux prévus en 2021

Variables

Questionnaire

  • développement d'un healthcheck dans le back de Pogues
  • ajout de la duplication d'une liste de code déjà présente dans Pogues

Structure et produits

RAS

Opérations Statistiques

  • prise en compte des retours de recette pour les exports odt avant mise en production en avril
  • présentation par le référent statistique aux référents informatiques des travaux prévus en 2021
  • Présentation à la MOA du module Opération Statistique pour les derniers arbitrages : il n'y a plus de bugs bloquants pour la mise en production à venir.

Listes de codes

  • listes de codes Bauhaus : initialisation du dépôt
  • présentation par le référent statistique (Florian Vucko) aux référents informatiques des travaux prévus en 2021

Géographie

RAS


Coltrane

  • Prod : Couloirs orbeons dédiés à l'IP Insee : en cours de validation, d'après les logs et glowroot on ne voit pas trop la différence
  • QF3 : Intégration d'enquêtes pour tester les batchs en version scalabilité
  • QF1 : recette de l'abandon des appels restXq
  • Formation eXist sur 2 jours

Generic

La semaine a été marquée par une baisse notable des sollicitations utilisateurs

Assistance de la STAC Assistance durant 2 jours de Nicolas Laval sur le front de Generic :

  • suppression des surcharges Generic de la bibliothèque Lunatic
  • montée de version Lunatic
  • rationnalisation des appels à l'API sur le module Reprise
  • corrections de bugs divers

Incidents et assistance opérationnelle

  • Correction de 2 bugs sur l'affichage des tableaux dynamiques pour la recette du questionnaire CIS
  • Correction de régressions sur le traitement des variables de confirmation des contrôles en production pour FASGSO et TIC
  • Mise à jour des notes qualité sur les dossiers TIC avec cases non décochables
  • Ecriture d'un script permettant de lister dans un fichier sous applishare les versions des modules de contrôle en hors-prod à chaque déploiement pour les responsables d'enquête

Divers

  • Réécriture du batch d'intégration des questionnaires Coltrane. Recette validée, déploiement en production prévu semaine prochaine
  • Réunion avec l'équipe intégration sur les enquêtes Generic

Sicore

  • Syrauco : travaux de développement autour de la communication entre l'API et le batch

Ofats

  • Préparation de la campagne 2021 : préparation des données de la campagne 2021 globalement validée par le pôle LIFI sur les bases de QF (maj de l'application + données). La préparation de la base de production aura lieu entre le 30/03 et le 7/04 pour le démarrage de la campagne le 16/04

Semaine 11 du 15 au 19 mars [Clos]

RMéS

  • Mise en production des nouveaux services géographiques (aires d'attractivité, zones d'emploi et unités urbaines. Le portail des API est prêt et ouvrira ces nouveaux services en début de semaine prochaine. La mise en production a nécessité des correctifs de properties sur la diffusion interne.
  • Changement d'itération Bauhaus : les deux prochaines semaines devraient permettre d'obtenir une version du module opérations statistiques livrable en production (mise en production prévue en avril, selon les disponibilités Web4G)
  • Poursuite des travaux d'interfaçage avec Web4G pour les opérations statistiques : la migration et les services ont été corrigés en fonction des remontées de Web4G
  • Naissance d'Impala : ce portail des métadonnées de l'Insee a vocation à remplacer datalift devenu obsolète. Il est basé sur Yasgui (Trifid) et se branchera aux nouveaux serveurs GraphDB. Une première version est en cours de développement.

Coltrane

  • Conséquence de la migration applishare V3 : les serveurs de batchs ne sont toujours pas opérationnels!
  • Préprod et Prod : Montée de version eXist et Debian sur les BDD réalisées avec succès
    Image Not Showing Possible Reasons
    • The image file may be corrupted
    • The server hosting the image is unavailable
    • The image path is incorrect
    • The image format is not supported
    Learn More →
  • Préprod : Couloirs dédiés pour le site miroir : un test de répartition avec l'adresse IP de l'utilisateur connecté va se faire dans les jours à venir
  • QF3 : scalabilité : une seconde base orbeon va être mise à dispo la semaine prochaine et un test de répartition basé sur le nom de la source présent dans l'URL sera fait dans la foulée
  • Intégration des enquêtes utilisant le service R2D2 : l'étude des travaux à réaliser a débuté
  • Bug : Certains utilisateurs n'ont plus accès à Pilotage en DEV/QF, souci LDAP?

Generic

  • Incident de production lundi 15 aprés-midi rendant l'application indisponible. L'incident serait dû soit à un batch qui s'est prolongé, soit à la suppression d'une enquête terminée en production. L'application est restée stable depuis.
  • Mise en place d'un flux automatique entre l'éditique et Generic pour réceptionner automatiquement les fichiers PND sans action des utilisateurs.
  • Alerte auprès des utilisateurs sur la migration des wikis d'enquête toujours sur Gforge

Sicore

  • Déploiement en prod de correctifs pour les environnements Sirene Naf1U et Naf1C
  • Nouvel incident Sirene en prod (serveur sicore indisponible); des tests ont permis de reproduire ce type de dysfonctionnement dans le cas d'une requête mal formatée; toutefois, l'analyse des logs Sirene et le rejeu de requêtes via un outil côté DRTI n'a pas permis de confirmer cette hypothèse pour cet incident. Une expertise devrait être entamée conjointement avec DRTI courant mai pour estimer la faisabilité pour modifier le contenu des logs (technos non standards).
  • Syrauco : début des développements pour la partie batch

Ofats

  • Préparation de la campagne 2021 : toutes les base de dev /qf ont été préparées avec un chargement sans erreur des fichiers d'initialisation (dont échantillons 2021 + données historiques 2020); les contrôles restent à finaliser au pôle LIFI
  • Passage à applishare v3 en dev/qf : plus d'anomalie constatée en début de semaine

Semaine 10 du 8 au 12 mars [Clos]

Coltrane

  • Migration applishare V3 plus complexe que prévue
    Image Not Showing Possible Reasons
    • The image file may be corrupted
    • The server hosting the image is unavailable
    • The image path is incorrect
    • The image format is not supported
    Learn More →
  • RNVP indisponible quelques jours suite à un
    Image Not Showing Possible Reasons
    • The image file may be corrupted
    • The server hosting the image is unavailable
    • The image path is incorrect
    • The image format is not supported
    Learn More →
  • Preprod : dispatch compliqué via un F5 pour isoler le site miroir sur son propre pool orbeon
    Image Not Showing Possible Reasons
    • The image file may be corrupted
    • The server hosting the image is unavailable
    • The image path is incorrect
    • The image format is not supported
    Learn More →
  • Prod : problème sur un F5
    Image Not Showing Possible Reasons
    • The image file may be corrupted
    • The server hosting the image is unavailable
    • The image path is incorrect
    • The image format is not supported
    Learn More →
    la page de maintenance de pilotage a été posée environ 1h30 jeudi après-midi
    Image Not Showing Possible Reasons
    • The image file may be corrupted
    • The server hosting the image is unavailable
    • The image path is incorrect
    • The image format is not supported
    Learn More →
  • Image Not Showing Possible Reasons
    • The image file may be corrupted
    • The server hosting the image is unavailable
    • The image path is incorrect
    • The image format is not supported
    Learn More →
    semaine prochaine : montée de version eXist et Debian des bdd de preprod (mardi 16)
    Image Not Showing Possible Reasons
    • The image file may be corrupted
    • The server hosting the image is unavailable
    • The image path is incorrect
    • The image format is not supported
    Learn More →
    et de prod (jeudi 18)
    Image Not Showing Possible Reasons
    • The image file may be corrupted
    • The server hosting the image is unavailable
    • The image path is incorrect
    • The image format is not supported
    Learn More →
    Image Not Showing Possible Reasons
    • The image file may be corrupted
    • The server hosting the image is unavailable
    • The image path is incorrect
    • The image format is not supported
    Learn More →
    Image Not Showing Possible Reasons
    • The image file may be corrupted
    • The server hosting the image is unavailable
    • The image path is incorrect
    • The image format is not supported
    Learn More →
    Image Not Showing Possible Reasons
    • The image file may be corrupted
    • The server hosting the image is unavailable
    • The image path is incorrect
    • The image format is not supported
    Learn More →

Image Not Showing Possible Reasons
  • The image file may be corrupted
  • The server hosting the image is unavailable
  • The image path is incorrect
  • The image format is not supported
Learn More →
bon weekend
Image Not Showing Possible Reasons
  • The image file may be corrupted
  • The server hosting the image is unavailable
  • The image path is incorrect
  • The image format is not supported
Learn More →

Sicore

  • Génération et déploiement en QF de correctifs pour les environnements Sirene Naf1U et Naf1c

Ofats

  • Poursuite de travaux de préparation de la campagne 2021 avec le pôle LIFI
  • Nombreux dysfonctionnements sur les plateformes batchs de dev et qf liés à la migration à ApplishareV3; certains étaient liés au peuplement inadéquat des droits, d'autres ont nécessité l'intervention de la DAAP et/ou du CEI, de façon récurrente sur plusieurs jours; cela a été génant voire bloquant pour les travaux de préparation de la campagne 2021.

RMéS

  • Le passage à applishare V3 était en erreur pour les pages statiques et le end point (rmessncz). Le site a été rétabli rapidement.
  • Les autres applicatifs et modules RMéS n'ont pas encore été branchés au nouvel applishare faute de temps.

Opérations

  • Recette des branchements de Web4G sur les nouveaux services opérations : des erreurs dans la migration des données ont été relevées et corrigées.
  • Une version de l'export de la documentation pour le comité du label a été générée pour avoir des retours des producteurs.
  • La base de données externe à l'Insee utilisée notamment pour les développements du prestataire a brulé (OVH). Une solution "sur poste" a été trouvée en attendant son rétablissement.

Géographie

  • Mise à jour du COG en production (nouvelle livraison pour le nouveau millésime)
  • Validation des derniers correctifs sur les services, la date de mise en production est à l'étude

Generic

  • Importantes perturbations liées aux migrations applishare (tests de la migration, tests des nouveaux développements, indisponibilité de la qf2 pour la recette du questionnaire FAS, retard de tests d'intégration d'enquêtes, ).
  • Discussions sur le passage d'Ofats dans Generic

Semaine 9 du 1 au 5 mars [Clos]

Image Not Showing Possible Reasons
  • The image file may be corrupted
  • The server hosting the image is unavailable
  • The image path is incorrect
  • The image format is not supported
Learn More →

RMéS

Architecture

  • Cartographie des application RMéS avec la DUSI. Validation de l'url de l'API de gestion api.rmes-gestion.insee.fr
  • Envoi pour devis du cahier des charges à 4 entreprises pour le marché d'architecture (CGI,KleeGroup,Sword,Talan[contact obsolète pour ce dernier])

Colectica

  • Correctif suite à la montée de version sur la plateforme de DV pour permettre l'authentification Windows depuis les Colectica Designer
  • Passage à Debian 8 de la QF2 de Colectica
  • Echanges avec le DOT et l'éditeur suite à la montée de version Keycloak. Des scopes demandés par Colectica n'étaient pas fournis. Ils ont été ajoutés aux configurations Keycloak.

Travaux RDF

  • Début des développements de l'outil React basé sur Yasgui pour remplacer Datalift.
  • Travaux sur la migration des données provisoires des opérations statistiques vers la cible. Quelques ajustements finaux sont encore à réaliser, mais la migration est opérationnelle.
  • Mise à jour des configurations du serveur de test GraphDB pour répondre aux préconisations de l'éditeur. Pas d'amélioration notable du point de vue utilisateur, mais le serveur semble moins saturer.

Bauhaus et API de gestion

  • Suite des développements de l'export ODT et de l'export pour le label des documentations des opérations statistiques
  • Initialisation de l'API de gestion en Java 11

Pogues

  • Développements pour l'ajout de la visualisation web Stromae v2 dans l'IHM
  • Travaux pour la mise en place d'un versionnement propre des mises en production de l'application
  • Mise en production d'une nouvelle version comprenant : la possibilité de dupliquer un questionnaire et la nouvelle gestion du store Redux.

Coltrane

  • Couloir dédié pour le site miroir : installation en preprod non immédiate (souci de droits coltrane? d'authentification keycloak? )
  • Echanges avec Corinne Fischman pour le projet Edifice
  • Réflexion autour des WS offerts par Coltrane : faut-il les laisser avec l'appli pilotage ou leur créer une API dédiée?

Generic

Developpements

  • Mise en production de la montée de version 1.7.0 (revue des PND, rapport d'exécution générique des batchs d'import, arborescence par enquête)
  • Ecriture du batch permettant l'intégration des fichiers issus de 2-PAC (Prototype Accès Calc de Préfiguration de l'Atelier de Conception)

Incidents

  • Déploiement en recette d'un correctif affectant l'affichage d'un libellé supprimé par le gestionnaire
  • Test par les responsables d'enquête d'une modification du traitement des variables par les modules de contrôle
  • 1 incident lié à un problème d'intégration des données de tableaux dynamiques en cours de résolution
  • Un incident de production sur l'intégration des réponses Coltrane a retardé l'intégration de quelques réponses de 2h

Semaine 8 du 22 au 26 fevrier [Clos]

RMéS

  • Le marché d'architecture pourra se faire par devis étant donné le montant et l'absence d'accord-cadre temporaire.
  • Fin d'itération Bauhaus :
    • Structure : la V0 est en recette et devrait être validé avec la prochaine itération.
    • Opération : export ODT toujours en cours, quelques correctifs à mener pour finaliser la V0
  • Mise à jour des données Géographiques en production
  • Développement du batch de chargement automatique des données géographiques => en recette
  • Passage à Tomcat 9 des dv et qf de Bauhaus et Metadata-API. Si aucune régression n'est constatée, la mise à jour en production pourra avoir lieu rapidement.
  • Discussion sur le nommage de l'API qui permettra l'accès aux métadonnées encore en gestion (pas encore forcément publiées).

Coltrane

  • Prod : Questionnaire d'assistance : Mise à jour de properties pour le changement de logiciel côté IIS
  • Preprod : 2è pool orbeon pour isoler le site miroir installé. La demande de redirection a été faite côté réseau (/repondre sur un pool et /visualiser sur l'autre).
  • Hors-Prod : Peuplement des groupes applishare V3
  • WS consultation : déployement de 3 nouveaux WS en DEV (liste des contacts pour une campagne, métadonnées d'une campagne et suivi d'une campagne pour repérer les questionnaires enregistrés/non expédiés). Recette à organiser avec les applis de gestion (Généric, Tourisme3 et Origami).
  • Mise à jour en cours de la doc Coltrane sous http://plateformes-collecte.gitlab-pages.insee.fr/coltrane/documentation/coltranedoc/

Generic

Developpements

  • Mise à disposition de la version 1.7 (mise à jour des PND, rapports d'exécutions utilisateurs de batchs, arborescence par enquête) en qf2 et qf3 pour test par les responsables d'enquête
  • Développement d'un correctif à tester changeant la manière dont est interprétée le nom d'une variable lors de la correspondance module LSE <-> application java

Incidents

  • Intégration des formats de questionnaire sans filtre en saisie pour les enquêtes FAS (recette) et TIC (prod)
  • 6 incidents en cours, dont 1 critique sur le traitement des noms de variables (FAS + CIS)
  • Incident de déploiement en qf1 et qf2 causé par une saturation des logs sur le serveur. La qf2 étant utilisée comme plateforme de recette des questionnaires par les responsables d'enquête, des opérations ont dû être reportées.

Autres

  • Applishare v3

Semaine 7 du 15 au 19 fevrier [Clos]

Generic

Développement

  • Ecriture du programme XSLT de génération de fichiers variables à partir d'un tableur
  • Corrections de bugs mineurs d'affichage sur le front
  • Retours de recette des PND et corrections
  • Réécriture du service lisant le fichier xml de réponse questionnaire de Coltrane (méthodes dépréciées)

Intégration

  • Certaines questions filtrés ne s'affichent pas pour les enquêtes FAS et TIC en saisie. Les investigations n'ont pas permis de résoudre le problème. Décision prise de désactiver les filtres de ces questions pour débloquer les utilisateurs pour la saisie des questionnaires papiers. Les formats de questionnaire seront mis en recette début de semaine prochaine.
  • Problèmes bloquants pour CIS sur la correspondance des variables format snake_case (LSE) <-> camelCase (java) en cours de traitement
  • Reste 5 incidents mineurs en attente de traitement

Autres

  • Applishare v3

Sicore

  • Syrauco : point en interne sur le développement et poursuite travaux de refactoring du code et pour la mise en place de tests sur l'API
  • Validation conjointe DRTI/SNDIL de la sortie de Sicore de Gforge
  • Migration à Applishare v3 : demande des droits d’accès à applishare transmises à la CUGID (cf note de la DAAP)

Ofats

  • Préparation de la campagne 2021 : intégration de l'historique 2020 et du 1er échantillon, quelques anomalies de cohérences de données à corriger dans l'échantillon
  • Migration à Applishare v3 : demande des droits d’accès à applishare transmises à la CUGID (cf note de la DAAP)

RMéS

  • Mise en recette des correctifs sur les services géographie, et ajout des services de listes pour les nouvelles zones géographiques
  • Atelier de découpage des applicatifs en domaine pour répartition des rôles
  • Mise à jour des droits d'accès pour Applishare V3
  • Transmission du CCTP pour le marché d'architecture à la CAPR
  • L'autorisation provisoire d'emploi va être prolongée pour une période d'un an avec un suivi trimestriel du plan d'action. Une nouvelle homologation aura lieu début 2022

Semaine 6 du 8 au 12 fevrier

Eno

  • Livraison en production de la version 2.2.1. Lien vers la documentation des releases
  • Réunion d'échange équipe informatique Eno - intégrateurs du SNDIL : remontée d'une nécessité de documenter les traitements spécifiques (fonctionnellement dans un doc qui les recense et techniquement au sein des XSL)
  • Point équipe Eno sur le fonctionnement du core, dans la perspective de la nouvelle sortie DDI2XMLPogues (dans le cadre de la ré-utilisation de questionnaire avec le branchement au référentiel Colectica) et d'une documentation développeur.
  • Premiers échanges sur les performances d'Eno de l'équipe informatique (notamment pour la visualisation de questionnaire complexe dans Pogues). Les pistes d'optimisations énoncées sont les suivantes :
    • Montée de version des bibliothèques Java utilisées
    • Configuration des serveurs
    • Optimisation de code (notamment XSLT)
    • Utilisation d'un autre moteur XSLT plus performant (si existant)
    • Diagnostic de l'origine des longueurs avec la STAC (avec Visual VM et des questionnaires tests)
    • Piste architecture : web-service versus batch (consultation DAAP sur le sujet)
  • Identification d'un bug sur le swagger d'Eno de production si l'appel se fait par http et non https (pas d'identification du format de la réponse) : il est nécessaire d'utiliser l'adresse https://api.eno.insee.fr

Sicore

  • Syrauco : travaux en cours pour l'amélioration qualité du code (tests, validation, exceptions)
  • Mise à jour des environnements de codification : priorisation des travaux côté DRTI, la mise à jour des environnements Sirene est reportée

Ofats

  • Intégration d'un fichier de test de collecte issu de Coltrane ok (suite modification du nommage de variables / groupes de variables dans Pogues)
  • Passage à Applishare V3 : prévue fin février / début mars, la bascule devrait se faire quelques semaines avant l'ouverture de l'enquête; en cas d'anomalies (disparition de flux notamment), celles-ci devront être résolues sur l'environnement de production directement

RMéS

  • Passage en Debian 8 des serveurs Colectica de production
  • Installation en DV de la version 6.1 de Colectica qui accepte le DDI 3.3 pour des tests
  • Poursuite des travaux d'export d'une documentation SIMS en ODT
  • Travaux de mise en conformité du batch de chargement RDF
  • Premières réflexions sur la réorganisation des rôles au sein de l'équipe info

Colectica

  • Montée de version de Colectica Repository et Colectica Portal, version 6.1.7896. Cette version permet de stocker le DDI 3.3 et était nécessaire pour le branchement Pogues à Colectica. Une montée de version Colectica Designer (client lourd sur poste) est nécessaire pour compléter utiliser la nouvelle stack Colectica.

Pogues

  • Premiers échanges Pogues-Généric sur le besoin d'initialisation des variables dans Généric.
  • Comité de pilotage Pogues : fin de la prestation annoncée pour le 30 mars.

Coltrane

  • Validation de l'architecture avec un reverse proxy sans séparation du site miroir après scalabilité
  • Changement de prestataire côté IIS : (1) Mise en prod du portail prévue sur la fds de lundi à mardi, (2) mise à jour de l'adresse destinataire des formulaires le mercredi 17 avant 16h45 ou sur la fds de mercredi à jeudi
  • Accord de principe de la part de la MOA pour étudier les possibilités d'offrir de nouveaux WS aux applis de gestion liées à Coltrane
  • Décision de demande de l'appui de Jérémie pour raccourcir la durée de traitement des WS côté Pilotage dans le cadre de l'abandon des appels restXq

Generic

Développement

  • Poursuite des développements à partir des fichiers Calc remplis par les utilisateurs pour générer des fichiers d'intégration d'enquête
  • Développement et mise en recette de méthodes génériques pour les batchs d'imports de fichiers permettant la lecture d'un csv, l'écriture d'un rapport d'exécution à l'intention des utilisateurs et d'un éventuel cv de compte-rendu supplémentaire pour les traitements des responsables d'enquête
  • Mise en recette d'une modification de traitement des status PND (modalité PND confirmé) avec écriture d'un CSV pour les responsables d'enquête associant le code unité transmis pa l'éditique au code gestionnaire traitant le dossier
  • Mise en recette des corrections sur la nouvelle arborescence

Incidents

  • Résolution d'un incident sur l'affichage des vagues dans le paramétrage des courriers de personnalisation
  • Intervention de N. Laval pour aider à résoudre plusieurs problèmes d'affichage sur les questionnaires
  • Persistence de problèmes sur l'affichage de certaines questions filtrées de FAS et TIC et du tableau dynamique du module I de CIS
  • Plusieurs incidents aléatoires rencontrés lors de l'exécution du nouveau batch d'archivage des exports.

Autres

  • Réunion de concertation avec l'équipe Pogues/Eno sur les possibilités de génération de métadonnées pour l'intégration des enquêtes dans Generic
  • Réunion de concertation avec l'équipe Métallica sur les possibilités de mutualisation de génération de schéma de validation des données issues des plateformes de collecte (XML, JSON) àpartir du DDI

Semaine 5 du 1 au 5 fevrier

Sicore

  • Plateformes de production et de QF2 HS mercredi, la fenêtre de service en QF2 ne s'est pas déclenchée
  • Syrauco : travaux de refactoring du code et mise en place de tests sur l'API

RMéS

  • Correctif pour l'authentification en recette : l'équipe statistique peut maintenant choisir le role et le timbre avec lequel elle se connecte.
  • Echange avec le CASD sur les possibilités de reconduction du partenariat (prestation de développement sur Bauhaus qui se termine le 2 avril)
  • Branchement de Bauhaus recette sur la nouvelle base de données GraphDB

Generic

Incidents

  • L'api rencontre des difficultés à interpréter correctement le nom de certaines variables définies par les utilisateurs dans les modules LSE. Une modification de l'expression régulière exécutant la conversion a permis de régler temporairement le problème pour la recette de FAS. Néanmoins un développement de fond reste nécessaire, tous les cas ne pouvant être couverts.
  • Certains dossiers passent à l'état "Expertise terminée" sans que la date d'expertise ne soit enregistrée.

Développements

  • Mise en recette arborescence par enquête : ce développement permettra aux utilisateurs de retrouver tous les fichiers liés à leurs enquêtes archivés dans un répertoire par enquête (fichiers d'intégration, PDF et XML Coltrane, PND, personnalisation, exports, ). Ce développement facilitera également le chargement des PDF des millésimes précédents, prévu pour les prochaines semaines.
  • Refactor des batchs d'import des fichiers pour mutualiser les méthodes communes. L'opération débute par le batch d'import des PND qui est en cours de revue.

Divers

  • Réflexion ouverte avec l'équipe Coltrane sur la récupération des enregistrés non expédiés
  • Prise de contact avec l'équipe éditique pour demander s'il est possible de faire un flux directement vers Generic pour la transmission des fichiers PND. Ce flux permettra d'éviter aux gestionnaires de copier ou uploader les fichiers à la main de l'éditique vers Generic. Sa mise en place évitera également le développement d'une interface dédiée.
  • Recette par les équipes TIC et FAS du fichier Calc servant à générer automatiquement certaines données pour l'intégration d'enquête

Coltrane

  • Abandon de l'idée de l'API de référencement au profit d'un reverse proxy
  • Réunion de cadrage pour le changement de prestataire IIS le mercredi 17 à 17h
  • Réflexion avec Généric pour la gestion des questionnaires "enregistrés / non expédiés"
  • Tests de charge : documentation sur les métriques utilisées par le CEI
  • WS de consultation des contacts : demande par Généric d'ajout d'un service permettant d'obtenir la liste des contacts pour une campagne donnée (sans préciser d'UE)

Semaine 4 du 25 au 29 janvier

Eno

  • Une nouvelle version d'Eno est disponible en production (https://api.eno.insee.fr) : la v2.0.0, qui correspond au passage à Lunatic v2.0.0.

Cette nouvelle version est disponible sur github "Release v2.2.0" : https://github.com/InseeFr/Eno/releases/tag/v2.2.0. Le readme a été actualisé : https://github.com/InseeFr/Eno et une documentation des versions a été intialisée : https://github.com/InseeFr/Eno/blob/master/doc/releases.md

  • Script de déploiement automatique paramétré terminé (gitlab-ci)
  • Développement de la prise en compte du traitement spécifique pour le format de sortie Lunatic
  • Evolution des pages de gardes fo pour les enquêtes entreprises et ménages

RMéS

  • Mise à disposition de Web4G de l'ensemble des services "opérations statistiques"
  • Mise en recette des nouveaux services "Géographie"
  • Branchement à Sonar de Bauhaus-BO et Metadata-API : le coverage est encore à corriger
  • Construction avec la DAAP d'un marché d'architecture ayant pour objectif des préconisations sur les échanges inter-applicatifs RMéS ainsi que sur les moyens d'informer les partenaires de mises à jour dans le référentiel

Ofats

Préparation de la campagne 2021

  • tests d'intégration des fichiers de collecte : harmonisation en cours des noms de variables / groupe de variables entre Ofats et Coltrane
  • tests d'initialisation complète de la base de données en prévision de la nouvelle campagne

Migration à Applishare V3

  • retour sur les besoins métiers et identification des travaux à mener en vue du passage à Applishare V3, conjointement avec le CEI et le pôle Lifi

Generic

Incidents

  • Intervention de Nicolas Laval pour aider à résoudre plusieurs bugs sur le front.
  • Une montée de version Lunatic cause une régression utilisateur sur l'affichage des input texte en production. Un correctif à partir de la version précédente de l'application est en cours.
  • 4 incidents restent en cours d'investigation.

Développement

  • Mise en recette d'un développement modifiant les règles de gestion des Plis Non Distribués
  • Proposition pour simplifier la charge des PND pour les utilisateurs
  • Début de recette sur une modification de l'arborescence (dossiers regroupés par enquête et non par fonctionnalités)

Divers

  • Initialisation d'un wiki documentation équipe maintenance
  • Ajout d'une base documentaire listant les anomalies rencontrées lors des intégrations

Coltrane

  • Discussion avec le DOT autour de l'authentification pour l'API de référencement (keycloak ou pas?)
  • Site miroir : Mise en place du 2è pool de couloirs orbeon en PreProd puis Prod la semaine du 8 février
  • Ajout d'un pipeline basic de build sur coltrane
  • Utilisation plus systématique des "nouvelles" plateformes de batchs de DEV/QF du domaine ostat
  • Recette des corrections sur les batchs InformationsSuppression et DecoupagePerso

Semaine 3 du 18 au 22 janvier

Eno

  • Premier comité utilisateurs Eno : présentation des différents clients, mise en place d'un mode de fonctionnement et de communication

RMéS

  • Passage en debian 8 des serveurs RDF en pré-production et production
  • Début des travaux sur les services géographie supplémentaires
  • Poursuite des travaux de mise à disposition des opérations statistiques pour Web4G
  • Création de compte de service pour que DDI-Access-Services accède à Colectica et tentatives de configuration pour l'utiliser

Pogues

  • Atelier évolutions de Pogues avec les équipes métiers Métallica et Pogues : prochains développements évoqués : multimode (instructions typées), transformation DDI2XMLPogues,
  • Fin des développements pour la visualisation "poste enquêteur" dans Pogues : mise en recette la semaine prochaine

Sicore

  • Sicore : avancement des travaux de sortie de gforge

Ofats

  • migration effectuée de la plateforme innovation à la nouvelle usine logicielle
  • préparation de la campagne 2021 : identification du "qui fera quoi" avec le pôle LIFI
  • transmission par le pôle LIFI des premiers fichiers d'alimentation à tester
  • comité de maintenance le 22/01

Generic :

Corrections de bugs d'affichage pour les enquêtes FAS, CIS et ESEM.

Coltrane

  • Mise en place de DNS temporaires en dev/qf pour tester la séparation entre le portail de réponse aux enquêtes et le site miroir pour les gestionnaires
  • Réflexion autour de l'authentification pour l'API de référencement (quid du site miroir qui ne passe pas par le portail?)
  • Programmation de la montée de version Debian et eXist sur les 2 BDD de prod le jeudi 18 mars
  • Avancées sur la correction du batch INFORMATIONSSUPPRESSION

Semaine 2 du 11 au 15 janvier

Eno

  • Livraison en production de la version 2.1.1 de la bibliothèque Eno comprenant la nouvelle version des pages de gardes des enquêtes ménages ainsi qu'un correctif sur le calcul des numéro de page dans le format fo
  • Développement sur le paramétrage des styles pour le fo
  • Ré-écriture du script CI/CD : livraison autiomatique, calcul du numéro de version automatique et paramétrisation des branches et environnement sur lesquels livrer. Mise en place majiba API.
  • Préparation du premier comité utilisateur Eno-Lunatic
  • Avancement de la documentation avec l'administratrice de l'application

Sicore

  • WS de codification : le service web de codfication est déployé sur la QF2 (3 couloirs)
  • Syrauco : poursuite du développement de l'API et présentation de l'avancée des travaux à DRTI

Ofats

  • point avec le Pôle de Poitiers sur le processus et le calendrier de la préparation de la campagne 2021; premières vérifications de l'impact des évolutions du questionnaire dans Pogues sur les fichiers de collecte en sortie de Coltrane (renommage de variables)
  • le CEI a migré la base de données en production vers debian 8 et postgresql 11

Coltrane

  • Comité de maintenance ce mardi : une date doit être définie pour la montée de version en production des bases eXist, l'architecture de la scalabilité et la répartition des enquêtes par base ont été présentés
  • Mise en production d'évolutions côté batchs prévue la semaine prochaine
  • Inscription de l'API de référencement (coltref api.ref.coltrane.insee.fr) dans Oscar et développements en cours

Generic

Affichage des questionnaires :

Appel au support Lunatic pour comprendre et corriger les problèmes de questionnaire remontés par l'enquête FAS. Au final, deux séances de 1/2 journée ont été nécessaires pour comprendre et corriger ces problèmes. Le plus important a nécessité de créer une fonction isnull dans les VTL-Tools dont Lunatic dépend et de l'appeler, au niveau d'Eno, pour interpréter les chaînes de caractères ='' et !='' saisies dans Pogues.

Autres :

  • Assistance sur l'intégration d'enquêtes
  • Optimisation du fonctionnement de l'archivage des exports
  • Analyse spécification de clôture, archivage et revue de l'arborescence

RMéS

Structure

  • Fin d'itération : le module structure a bien avancé et une première version devrait pouvoir etre utilisée par Melodi

Opérations statistiques

  • Fin d'itération : les travaux se poursuivent dans la prochaine itération
  • Point avec Web4G pour définir les étapes de branchement à la cible

Pogues

  • Avancement sur la visualisation Queen dans Pogues

Autres

  • Installation en préproduction de GraphDB pour réaliser les tests de charge qui serviront à estimer le nombre de licences GraphDB
  • Point avec la MOA pour définir le périmètre des prochaines prestations

Semaine 1

Coltrane

  • La crainte du pic de charge est levée, il n'y a pas eu de fort ralentissement comme observés début juillet et début octobre.
  • Les bases de données de QF2 sont passées en eXist 4.7 et Debian 8. Reste quelques réglages pour l'enregistrement des questionnaires.
  • Nouvelle API de référencement à l'étude.
  • Comité de maintenance prévu mardi prochain.

Sicore

  • MAJ des environnements de codification SIRENE faite en QF (naf1u et naf1c)
  • Syrauco : poursuite du développement de l'API

Ofats

  • point interne sur le processus de préparation de la collecte 2021

Generic

  • correction et déploiement bugs mineurs sur l'application
  • Assistance opérationnelle pour l'affichage des questionnaires Esem, FAS et CIS avec causes diverses (erreurs dans les fichiers d'initialisation, dans Pogues, dans Generic, )

RMéS

  • Suite des développements Bauhaus et Metadata-API
  • Discussion sur l'applishare partagé avec Web4G
  • Présentation à François de ses premiers travaux RMéS

Semaines 52 et 53

RMéS

Metadata-API

  • Ouverture du module Métadonnées sur le portail des API (concepts, nomenclatures, géographie)

RDF

  • Passage en Debian 8 des bases de données RDF en QF, sans perte de données

Coltrane

  • Pas d'avancée notable au cours de ces 2 semaines de congés

Semaine 51 du 14 au 18 décembre

Eno

  • Mise en production de la version 2.1.0 d'Eno qui contient les travaux sur les filtres, les boucles et les nouvelles pages de garde pour les courriers des ménages.
  • Le déploiement pour les intégrateurs a causé des régressions pour les preuves de dépôts notamment.
  • fo : correction d'un bug concernant le code barres de l'Esa pour les tableaux dynamiques tenant sur plusieurs pages
  • Assistance à l'Esa pour comprendre un bug d'intégration des questionnaires Web de Coltrane (pour répondre à un besoin des enquêtes ménages, depuis cette année, lorsqu'un répondant ajoute une ligne dans un tableau dynamique, la ligne ajoutée a un identifiant métier)

RMéS

Pogues

  • Point avec le directeur de projet et le commercial d'Akka pour leur faire part de notre volonté de suspendre la TMA fin mars (plus de gros travaux sur Pogues où passer par la TMA est une plus-value)
  • Déploiement de Pogues en production en échec avec l'API Majiba : la documentation fournie par le CEI ayant été suivie et étant erronée.
  • Travaux back sur la mise en place de la visualisation Queen

Metadata-API

  • Mise en production de la v2.0.3 qui corrige les services concepts
  • Livraison du Swagger au portail des API (correction des exemples notamment, merci la STAC !)

Bases RDF

  • Le premier serveur GraphDB a été installé au CEI et fonctionne comme prévu. Un problème de licence est toutefois constaté, mais le marché de renouvellement est presque prêt.

Bauhaus

  • Début de l'itération de Noel qui devrait permettre d'avoir une première version opérationnelle des opérations statistiques et de leurs services associés.

Formation Web-sémantique

Sicore

  • Syrauco : poursuite du développement de l'API

Generic

Préparation du comité de pilotage de maintenance Analyse des spécifications de clôture d'enquête et fin de gestion Sollicitations sur problème divers liés aux intégrationx des enquêtes TIC (collecte début janvier), FASGSO, CIS (en recette)

Coltrane

  • Pic de charge attendu début janvier : Les collectes ont été étalée au maximum côté métier. C'est la seule solution qui a pu être mise en place. Les couloirs spécifiques pour les gestionnaires sont en attente des DNS. La limitation par couloir concerne en fait un nombre de requête et non pas un nombre de session. Le 4 janvier il y a un risque sur les 3 couloirs orbeons.
  • Pilotage en Prod, onglet "Gérer des utilisateurs" : appel à Igesa impossible depuis la DMZ => On attend la nouvelle version Igesa prévue T1-T2 2021 qui devrait répondre à notre besoin.
  • Base Orbeon QF2 cassée : la "réparation" nécessite de remonter la base, on profite de cette opération pour réaliser la montée de version en eXist 4.7 et Debian 8 => prévue début janvier 2021 La montée de version en eXist 4.7 et Debian 8 des bases de données de Prod est à prévoir avant le 31 mars 2021.
  • Sortie restXq base Orbeon (QF1) : recette métier prévue en QF1 quand les MOA d'enquête seront sur la QF2
  • Sortie restXq base Pilotage (QF1) : développement en cours
  • Scalabilité sur la base Orbeon : réflexion autour de la nouvelle API de référencement La répartition des données sur les 2 bases sera étudiée en comité de maintenance le 12 janvier
  • Tests unitaires : un certain nombre de tests a été réalisé côté Java et passé dans Sonar. Une suppression des classes et méthodes inutilisées est prévue pour améliorer la qualité du code et la couverture de test.

Semaine 50 du 5 au 11 décembre

Coltrane

  • Pilotage en prod, onglet "Gérer des utilisateurs" : erreur 404 lors de l'appel à Igesa, car ce n'est pas possible d'accèder à ce service depuis la DMZ. Echanges en cours avec le DOT
  • Base Orbeon QF2 cassée : intervention de l'expert XML pour aider le CEI. Sauvegarde des 2 bases faite mais plus de nouvelles depuis le 08/12
  • Sortie restXq base Orbeon (QF1) : recette métier prévue en QF1 quand les MOA d'enquête seront sur la QF2, en attente d'être réparée (on souhaite désactiver les WS a priori non utilisés)
  • Plateforme de dev : migration en eXist 4.7 OK
  • Batchs : DecoupagePerso : travaux sur l’intégration de gros fichiers (erreur Saxon 16004 ou 32008) recette MOA en cours

Eno

  • Livraison de la nouvelle version d'Eno sur la plate-forme utilisée par les intégrateurs
  • Ecriture d'un script CI pour déploiement par l'APi majiba
  • Nettoyage des branches sur github
  • Participation à la première réunion d'instruction de demande de modélisation DDI

RMéS

Pogues

  • Préparation livaison en production
  • Petits tickets développés
  • Point sur les futurs développements

Metadata-Api

  • Changement de modélisation des concepts et Nomenclatures (en recette)
  • Assistance de la STAC pour les annotations des swaggers (incohérence exemple, résultat du service)

Nomenclatures

  • Chargement des nomenclatures EAP et EMB pour les collectes 2021 (recette puis production)
  • Création des pages dédiées à ces deux nomenclatures

Bauhaus

  • Développement de la fonctionnalité de suppression d'une documentation (en recette)

Generic

Marathon de l'intégration :

  • Intégration de Micro et Sine en prod pour le test REE
  • Intégration de TIC en qf2 pour vérifier la validité du fichier échantillon définitif
  • Test du fichier échantillon FASGSO en qf2
  • Intégration de CIS pour tests en qf2

L'équipe informatique a été fortement sollicité pour dépanner les incidents informatiques liés aux intégrations.

Divers

  • Demande de mise en production d'un batch permettant le zip des exports et vacuum de la base
  • Configuration de l'API complémentaire et préparation des fichiers DDL de la base

Sicore

  • MAJ des environnements de codification faite en prod (PCS2020, ISCO2020, APE)
  • Syrauco : poursuite du développement de l'API

Ofats

  • recette en QF ok (remplacement du driver postgresql), migration debian 8 / postgres 11 en cours sur la preprod
  • échanges avec le pôle de Poitiers sur le calendrier 2021

Semaine 49 du 30 novembre au 4 décembre

Coltrane

Travaux en cours :

  • Les travaux de montée de version d'eXist sur les bases de DEV se poursuivent sur la base pilotage. Plateforme de DEV non opérationnelle.
  • Les travaux d'abandon de restxq dans les WS sont en cours en QF1. Plateforme de QF1 non optimale.
  • Suite à une fausse manip la base orbeon de QF2 est HS : Plateforme de QF2 non opérationnelle.
  • Couloir dédié au site miroir : la création des DNS va prendre plus de temps que prévu.

Livraison en PROD à venir :

  • Pilotage : Gérer des enquêtes : la mise à jour des dates de campagne et des métadonnées d’enquête
  • Pilotage : Gérer des utilisateurs : réalisation de l’onglet permettant d’afficher et de modifier les droits d’accès à Pilotage
  • Pilotage : problème sur contrôle du code postal (Opise) quand Pays renseigné et différent de France
  • Portail : Correction du contrôle sur les combinaisons CP/commune Cedex/libellé cedex en cours
  • Batchs : DecoupagePerso : travaux sur l’intégration de gros fichiers (erreur Saxon 16004 ou 32008)
  • Batchs : SpocByNight : ajout du parametre source pour étaler les envois de mail sur la journée

RMéS

Metadata-API

  • Mise en production de la version v2.0.2 (interne et DMZ) pour corriger les services concepts et nomenclatures, et permettre l'ouverture de la géographie en externe.
  • Mise à jour du COG
  • Livraison du swagger au portail des API

Bauhaus Correction des properties de production pour retrouver l'accès aux logs

Conférence EDDI

Sicore

  • MAJ d'environnements de codification demandée en prod (PCS2020, ISCO2020, APE)
  • Mise en place du WS de codification en QF2 par le CEI (3 couloirs); chaque couloir est accessible, mais pas l'url principale
  • Initialisation des échanges avec le CEI sur la faisabilité du QoE Sicore via le ws

Ofats

  • recette métier sur la QF2 suite à la migration debian 8 / postgres 11 (remplacement du driver postgresql obsolète)

Generic

En recette :

  • Modifications sur le traitement des groupes (affichage et intégration)
  • Zip des fichiers exports

Migration à Gitlab :

  • Mise au propre du fichier yaml de la partie front
  • Documentation pour les rédacteurs de module de contrôle pour toruver le nouveau dépôt

Divers :

  • Réparatiion du front js de la qf3 par le CEI
  • Script sur la base en prod pourcorriger un attribut et ajouter un cas de type de lien groupe <-> entreprise
  • Contribution à la prochaine newsletter

Semaine 48 du 23 au 27 novembre

Eno

  • Génération des 48 modèles de questionnaires pour l'ESA : le swagger renvoie un 502 au bout de 5min alors que la génération met 13 minutes. Elle a donc été effectuée par l'équipe de développement Eno en local en attendant une solution.
  • Livraison des dernières corrections sur les recettes en cours : un déploiement sur la plateforme des intégrateurs et en production est envisagé la semaine prochaine.
  • Tuilage : intensification de la passation en mode Zoom. Fin décembre, il devrait y avoir 12 à 15 heures d'enregistrements sur les éléments les plus complexes du code.

Sicore

  • Syrauco : poursuite des travaux de conception / développement sur les structures de données et la doc swagger

Ofats

  • Bug mineur avéré sur la gestion des dates de constat de non réponse affichés dans l'application (mapping sur une mauvaise variable)
  • Recette métier en cours sur la QF2 suite à la migration debian 8 / postgres 11; des régressions fonctionnelles ont été remontées par le métier

RMéS

Bauhaus

  • Mise à jour des concepts en gestion pour récupérer les définitions perdues par erreur entre août et novembre.
  • Compte rendu de l'audit de sécurité : une page d'erreur est à afficher pour masquer les erreurs système à d'éventuels attaquants

Metadata-API

  • Correctif des services géographie pour une mise en production très prochaine !
  • Prise de contact avec Web4G pour planifier les travaux de mise à jour des opérations statistiques

Colectica

  • Passage en Debian 8 des serveurs de DV et QF1 (en recette)

Generic

  • Assistance de la DAAP pour la compilation de l'API avec les runners de la plateforme gitlab.insee.fr avec les dépendances des modules de contrôles LSE
  • Réécriture des pipelines suite au déménagement des dépôts de l'API
  • Passage à Nexus
  • Création d'un projet "guide utilisateur" pour déployer un site documentaire à l'intention des utilisateurs de Generic
  • Travail sur un batch de défragmentation de la base

Semaine 47 du 16 au 20 novembre

Eno

  • Livraison des développements pour VQS.

Sicore

  • Syrauco : poursuite de la conception des modèles de données et de l'implémentation du mapping objet relationnel

Ofats

  • Migration de la base de données faite en QF1 et QF2, recette métier prèvue pendant la semaine 48

RMéS

Metadata-API

  • Correction des services géographie et mise en recette
  • Préparation de la livraison au portail des API du swagger

Bauhaus

  • Poursuite des travaux de l'export d'une documentation : un soutien des experts XSLT est souhaité pour finaliser (pb d'encodage)

Migration Gforge, plateforme innovation

  • Tous les applicatifs ont été migrés de la plateforme innovation sur le gitlab Insee
  • Mail de fermeture de Gforge à la DAAP

Mises à jour serveur

  • Le serveur RDF interne de QF était éteint (cause inconnue) empêchant les recettes de Web4G. Il a été redémarré cette semaine, ce qui a permis à l'intégrateur de corriger ses paramètres (lien vers un serveur inexistant).
  • Les mises à jour des dv des bases RDF, et de dv et qf de Colectica devraient passer en Debian 8 la semaine prochaine.

Homologation

  • RMéS doit présenter dans 3 mois un plan d'actions pour améliorer sa sécurité dans le but d'être homologué. En attendant une autorisation provisoire d'emploi est prononcée.
  • Les points faibles identifiés sont principalement Datalift et le socle technique (Java, Debian).

Pogues

  • Comité de pilotage : Annonce au presta d'un arrêt de la presta d'ici quelques sprints. Au programme du prochain print : refactoring du front.
  • Premières réflexions sur la fonctionalité "ajout du paramétrage Eno dans Pogues"

Generic

  • Corrections de bugs divers et réponses aux sollicitations des utilisateurs
  • Assistance à intégration d'une "enquête" en recette, permettant aux gestionnaires de contrôler les identifiants (RNA et Siren) et coordonnées des associations, en aval de l'enquête du même nom. Cette vérification devait initialement se faire par tableur.
  • Migration et mirroring des dépôts des applications et modules de contrôles vers gitlab

Semaine 46 du 9 au 13 novembre

Orbeon mutualisé

Présentation dispo ici

Des travaux de mutualisation "Stromae" ont été effectués côté SNDI Lille. La présentation a été faite côté métier pour une demande de recette et les questions de gouvernance sur cet outil mutualisé ont été évoqué.

RMéS

Passage à GraphDB

  • Le passage à GraphDB va se faire progressivement :
    1. Changement de base de données de gestion (triplestore + workbench sur le même serveur)
    2. Changement de base de données de diffusion interne avec une étude sur l'éventuel déport du workbench sur un autre serveur
    3. Changement de base de données de diffusion externe : cette étape nécessite plusieurs travaux préalables pour le remplacement de datalift
  • Les licences GraphDB sont reglées en fonction du nombre de core. Il faudra être vigilants aux mises à jour suite à des tests de charge par exemple.

Utilisation d'un broker

  • Retour d'expérience de Sirene4 (merci Benjamin et Mathias, et Félicitations Alexis) très riche sur l'utilisation de CQRS et commandSourcing

Nomenclatures

  • Nouvelle correction de la NAF en gestion et diffusion

Pogues

  • Point avec l'expert JS et demande de soutien pour mise en place Keycloak
  • Préparation des specifications techniques sur le refactoring du front (simplification usage de redux)

Generic

  • Corrections de bugs suite au passage à Lunatic v2
  • Réception de l'audit de la base de données par Cognizant

Sicore

  • Déploiement en QF 1, 2 et 3 des MAJ pour les environnements de codification Isco2020, Pcs2020 et APE
  • Prestation de retrodocumentation : copil de clôture de la prestation le 12/11/20, la prestation a jugée été de bonne qualité sur les 3 volets
    • volet 1 - documentation du code: la prestation a mis en évidence la complexité du code lié, entre autre, à la gestion de structures de données de très bas niveau (basées la gestion en mémoire / 32 bits), complexité technique du code que l'on retrouve aussi dans le contenu des fichiers d'environnements générés et intégrés en production.
    • volet 2 - compilation : les procédures livrées et testées en atelier confirment la faisabilité technique de la compilation sous Linux 32; mais, dans le cas 64 bits, la gestion spécifiques des données nécessite aussi de devoir adapter les structures de données manipulées (cf volet 1)
    • volet 3 - risques autour d'une migration 32 à 64 bits : il existe un risque (à moyen terme ) de devoir éventuellement migrer à une version 64 bits, si les OS ne supportaient plus un jour les versions 32 bits; la bascule de 32 à 64 bits pourrait alors être coûteuse (cf volet 1 et 2, l'analyse de solution est hors périmètre de la prestation).

Ofats

  • Migration de la base de données faite en dev par le CEI (debian 8 + postgre 11); QF 1 et 2 à venir la semaine suivante

Séminaire métadonnées actives centré sur Pogues-Eno-Métallica

  • Initialement prévu sur 2 jours, il s'est recentré sur 0,5 j de partage des connaissances au sein de la filière.
  • Les premières discussions autour de la feuille de route hors besoins de court terme des enquêtes (évolutions techniques, intégration du VTL, lien Pogues-RMéS, besoins liés aux phases du GSBPM autres que la collecte, etc.) ont incité à la mise en oeuvre d'une seconde demi-journée consacrée aux évolutions de moyen terme.

Semaine 45 du 2 au 6 novembre

Coltrane

PréProduction

  • Fenêtre de service : le déroulé de la fds a été revu par le CEI => passage en Prod prévu la semaine prochaine

Infrastructure CEI

  • Montée de version des 2 bdd de DEV pour la semaine prochaine
  • Scalabilité : livraison d'une plateforme orbeon 'interne' dédiée aux gestionnaires (paramétrages en cours)

Orbeon : Livraison automatique

  • Ajustement du pipeline et des properties associées en DEV QF1 QF2 et QF3. Il faudra faire les mises à jour en PreProd et Prod.

Prochain tests de charge - mai 2021

  • Réflexion autour des scénarios, mise à jour / actualisation afin qu'ils soient plus proches de la réalité, prise en compte des nouvelles fonctionnalités.

Echanges eXist

  • Je n'ai pas tout suivi, sorry!

RMéS

Bauhaus

  • Mise en production des correctifs pour les bugs sur les concepts. Les données historiques ne seront plus perdues. Le travail de rattrapage des données perdues reste à faire.
  • Début d'itération : les travaux à venir sont principalement liés aux derniers changements de modélisation des données
  • Le pipeline de livraison via Majiba-API (depuis les branches master des dépôts Github) est fonctionnel.

Nomenclatures

  • La NAF et la CPF ont été mises à jour en production (gestion et diffusion) et la NA également (diffusion uniquement).

Generic

Assistance de Nicolas Laval et Laurent Caouissin pour le passage à Lunatic v2

Sicore

  • Syrauco : présentation de la conception générale de l'api et de l'ébauche du swagger à DRTI
  • Prestation de retrodocumentation :
    • 2è des 3 copils
    • tests des procédures de compilation en cours
  • Mise à jour des environnements de codification Isco2020 (en cours), Pcs2020, APE (à faire)

Ofats

  • correction de fichiers en erreur
  • bug sur les dates de CNR : les dates sont bien présentes dans la base de données
  • migration des serveurs de données à venir (debian 8 + postgre 11)