# 2024-03-15 ## Création de l'équipe et recrutements : - Jose Marie: Senior, beaucoup d'exprience Scala + ingénieurie data - Freddy: Junior/xp dépendement du contexte, motivé, bonnes connaissances théoriques spark et kafka, peu d'eperience en Scala mais en train de monter en compétence ## Organisation interne de l'équipe : - Mise en place d'une routine journalière (daily meeting) - Mise en place de pair programming régulier (principalement de l'aide à Freddy le temps qu'il soit autonome) - Mise en place d'un backlog transverse via JIRA (en cours) - Mise en place d'un script pour porter un backlog CSV vers JIRA (gain de temps long terme pour les sujets de migration) (en cours) ## Mise en place d'une synergie d'équipes : - Etablissement du périmêtre et des process transverses - Prise de contact individuel avec chaque équipe pour collecter leurs besoins et opinions - => Communication d'une proposition la semaine prochaine - Travaux d'états des lieux avec les leads tech pour compléter le tableur de la migration Spark (jalon lundi prochain) ## Ouvrages de l'équipe : - Migration spark - Deux jobs en train d'être migrés vers spark 3: - vj-transaction (en cours) - logistar-enricher (en cours) - Difficultés rencontrées/complexité liée à la dette: - Projets/builds peu entretenus - Necessite de faire des montés de version de scala - Necessite de decommissionner phenix-build + code source disparut (problème résolu) - Necessite de mettre à jour les plugins avro (incompatibilité) - => Les process pour surmonter ces points bloquants seront intégrés à la doc qui sera livré avec l'ensemble de ces POC - Aide aux équipes sur des sujets transverses: - Revues de code: - Clara - Streaming-loader - Assistances diverses sur des sujets de setup carrefour (proxy, outils de devs) - Assistances sur des sujets de devs divers (pipeline en fail, choix d'implémentation) ## Points supplémentaires évoqués: - Positionnement de l'équipe transverse dans l'organigrame : - Problématique actuelle : Les équipes ne disposent pas d'une organisation facilitant la communication et la coopération sur les sujets et applicatifs transversesune prise en main uniforme des aspects techniques - Equipe transverse permettant à court terme de répondre à cette problématique en planifiant, coordonnant, assistant et facilitant les sujets de migration, de decommissionnement, d'amélioration et de maintient transverses. - Solution ne paraissant pas compatible au long terme car non scalable. En effet, une équipe centrale va représenter un point chaud dans l'organigramme ! - => Besoin de plannifier une stratégie long terme pour promouvoir une autonomie/coordination entre les équipes usages. Un des objectifs de l'équipe transverse peut être d'oeuvrer pour atteindre cet objectif. - Besoin de sensibiliser les équipes aux fait de prendre sa dette en charge. - Livrable attendu: Quelques projets migrés + une doc détaillée de migration - Discussion sur les version du runtime dataproc. Cible = 2.1 (scala 2.13) # 2024-03-29 ## Definition du périmêtre de l'équipe - Suite aux réunions avec les leads techs, ateliers menés en équipe pour synthetiser le résultat de ces échanges et trouver un compromis - A discuter avec Laurent et David avant d'envoyer un communiqué - Si OK: - Necessite la création d'un board transverse aux équipes - Nécessite de modifier les autorisations de merge des projets usage uniquement en cas de deux approvals ## Orga d'équipe - Jira: - Mise en place d'un backlog pour le court terme - Familiarisation avec l'outil. - /!\ Pas de possibilité de pouvoir éditer le board - /!\ Pourquoi projet séparé du projet phenix (PHX) ? Un espace dédié à l'équipe sur PHX serait plus approprié (pour pouvoir transferrer des cartes à d'autres équipes usages etc) ## Ouvrages - Finalisation du script de portage CSV -> JIRA (En attente d'un backlog commun) - Coordination de l'état des lieux des jobs legacy spark 2 avec les différents leadtechs - Ouverture du chantier decommissionnement GCR - Possibilité de faire un export depuis une recherche sur la Web UI de gitlab? - Avancées sur les migrations spark: - logistics-warehouse-stock-logistar: - Refactorings préalables terminés - Mise à jour du plugin spark3 en revue - Migration vers spark 3 codée => Debut d'une phase de recetage avec l'équipe Supply prochainement - transaction-vj: - En cours de refactorings, montée de niveau avec Freddy + pair programming ## Difficultés rencontrées - Perte de temps significative en tentant de migrer le projet legacy **non archivé** logistics-warehouse-stock-logistar au lieu de logistics-warehouse-stock-logistar_v2 ## Points supplémentaires évoqués: - Faire un ticket à l'agilefabric (champs Phenix team avec une valeur dev transverse et ajouter à la liste existante) - Corriger le perimetre (presence des PO) - Retour sur équipe et tester le job dataproc serverless. # 2024-04-26 ## Orga d'équipes - Board pour l'équipe transverse - Board commun aux équipes usages (comme annoncé dans le mail concernant le périmêtre de l'équipe transverse) - 2e sprint entammé mercredi 17. ## Difficultés rencontrées - Collision avec la mise à jour Jenkins => Gitlab-CI: - 3 projets à déployer en RC pour tester. Certains projets déjà migrés sur Gitlab-CI et d'autres non - => Releases publiées sur des artifactory différents et pas de possibilité de charger les dépendances du Jfrog (nouvel artifactory de l'agilfab) depuis notre Jenkins - => **Temps consacré à migrer vers Gitlab-CI** - Problème de droits et d'un environement fonctionnel pour le POC - Tentative de rester dans le process, comme préconisé par Stephane qui se révèle peu pratique et insuffisant pour tester la solution dans un premier temps - Problèmes liés à l'infra - Droits (pouvoir éteindre des machines pour killer le cluster le temps d'avoir quelque chose de stable...) - Réseaux mal paramétrés - Pas de resources suffisantes - Propositions de solutions non compatibles avec la cible - => **Perte de temps considérable + réel mécontentement de José-Marie** - Instabilités liées aux environements ## Ouvrages - Refactoring de vj-transaction par Freddy quasi fini (aujourd'hui ou lundi) - POC mené par José-Marie quasiement sur la fin (execution spark opérationnel mais blocage liés aux resources) - Exploration de nombreuses pistes : https://hackmd.io/UuH_OM-XR5e2KCfeDzktsA - Etats des lieux : - Decomissionnement GCR OK - Decomissionnement phenix-build (nécessaire pour la migration vers spark 3) OK - Migration Spark 3 à compléter - => Chiffrage grosse maille (me semblant un peu juste avec du recul) - Aide à l'équipe Finance ## A aborder - Absences aux daily corops: - Utiles dans un premier temps le temps que l'équipe s'installe - Devenu compliqué ces derniers temps (déjà un daily avec mon équipe + peu de temps) - Me semble moins pertinent car j'apprend globalement les informations qui m'interesse à la réunion corops + LeadTechs