---
# System prepended metadata

title: 'Rapports de l''équipe transverse  '

---

# 2024-03-15

## Création de l'équipe et recrutements :
- Jose Marie: Senior, beaucoup d'exprience Scala + ingénieurie data
- Freddy: Junior/xp dépendement du contexte, motivé, bonnes connaissances théoriques spark et kafka, peu d'eperience en Scala mais en train de monter en compétence

## Organisation interne de l'équipe : 
- Mise en place d'une routine journalière (daily meeting)
- Mise en place de pair programming régulier (principalement de l'aide à Freddy le temps qu'il soit autonome)
- Mise en place d'un backlog transverse via JIRA (en cours)
- Mise en place d'un script pour porter un backlog CSV vers JIRA (gain de temps long terme pour les sujets de migration) (en cours)

## Mise en place d'une synergie d'équipes :
- Etablissement du périmêtre et des process transverses
    - Prise de contact individuel avec chaque équipe pour collecter leurs besoins et opinions
    - => Communication d'une proposition la semaine prochaine
- Travaux d'états des lieux avec les leads tech pour compléter le tableur de la migration Spark (jalon lundi prochain)

## Ouvrages de l'équipe : 
- Migration spark
     - Deux jobs en train d'être migrés vers spark 3:
         - vj-transaction (en cours)
         - logistar-enricher (en cours)
     - Difficultés rencontrées/complexité liée à la dette:
         - Projets/builds peu entretenus
         - Necessite de faire des montés de version de scala
         - Necessite de decommissionner phenix-build + code source disparut (problème résolu)
         - Necessite de mettre à jour les plugins avro (incompatibilité)
         - => Les process pour surmonter ces points bloquants seront intégrés à la doc qui sera livré avec l'ensemble de ces POC 
 - Aide aux équipes sur des sujets transverses:
     - Revues de code:
         - Clara
         - Streaming-loader
     - Assistances diverses sur des sujets de setup carrefour (proxy, outils de devs)
     - Assistances sur des sujets de devs divers (pipeline en fail, choix d'implémentation)

## Points supplémentaires évoqués:

- Positionnement de l'équipe transverse dans l'organigrame : 
    - Problématique actuelle : Les équipes ne disposent pas d'une organisation facilitant la communication et la coopération sur les sujets et applicatifs transversesune prise en main uniforme des aspects techniques
    - Equipe transverse permettant à court terme de répondre à cette problématique en planifiant, coordonnant, assistant et facilitant les sujets de migration, de decommissionnement, d'amélioration et de maintient transverses.
    - Solution ne paraissant pas compatible au long terme car non scalable. En effet, une équipe centrale va représenter un point chaud dans l'organigramme !
    - => Besoin de plannifier une stratégie long terme pour promouvoir une autonomie/coordination entre les équipes usages. Un des objectifs de l'équipe transverse peut être d'oeuvrer pour atteindre cet objectif.
- Besoin de sensibiliser les équipes aux fait de prendre sa dette en charge.
- Livrable attendu: Quelques projets migrés + une doc détaillée de migration
- Discussion sur les version du runtime dataproc. Cible = 2.1 (scala 2.13)

#  2024-03-29

## Definition du périmêtre de l'équipe

- Suite aux réunions avec les leads techs, ateliers menés en équipe pour synthetiser le résultat de ces échanges et trouver un compromis

- A discuter avec Laurent et David avant d'envoyer un communiqué

- Si OK:
    - Necessite la création d'un board transverse aux équipes
    - Nécessite de modifier les autorisations de merge des projets usage uniquement en cas de deux approvals

## Orga d'équipe

- Jira:
    - Mise en place d'un backlog pour le court terme
    - Familiarisation avec l'outil.
    - /!\ Pas de possibilité de pouvoir éditer le board
    - /!\ Pourquoi projet séparé du projet phenix (PHX) ? Un espace dédié à l'équipe sur PHX serait plus approprié (pour pouvoir transferrer des cartes à d'autres équipes usages etc)

## Ouvrages

- Finalisation du script de portage CSV -> JIRA (En attente d'un backlog commun)
- Coordination de l'état des lieux des jobs legacy spark 2 avec les différents leadtechs
- Ouverture du chantier decommissionnement GCR
    - Possibilité de faire un export depuis une recherche sur la Web UI de gitlab?
- Avancées sur les migrations spark:
    - logistics-warehouse-stock-logistar:
        - Refactorings préalables terminés
        - Mise à jour du plugin spark3 en revue
        - Migration vers spark 3 codée => Debut d'une phase de recetage avec l'équipe Supply prochainement
    - transaction-vj:
        - En cours de refactorings, montée de niveau avec Freddy + pair programming

## Difficultés rencontrées

- Perte de temps significative en tentant de migrer le projet legacy **non archivé** logistics-warehouse-stock-logistar au lieu de logistics-warehouse-stock-logistar_v2

## Points supplémentaires évoqués:

- Faire un ticket à l'agilefabric (champs Phenix team avec une valeur dev transverse et ajouter à la liste existante)
- Corriger le perimetre (presence des PO)
- Retour sur équipe et tester le job dataproc serverless.

# 2024-04-26

## Orga d'équipes

- Board pour l'équipe transverse
- Board commun aux équipes usages (comme annoncé dans le mail concernant le périmêtre de l'équipe transverse)
- 2e sprint entammé mercredi 17. 

## Difficultés rencontrées

- Collision avec la mise à jour Jenkins => Gitlab-CI:
    - 3 projets à déployer en RC pour tester. Certains projets déjà migrés sur Gitlab-CI et d'autres non 
    - => Releases publiées sur des artifactory différents et pas de possibilité de charger les dépendances du Jfrog (nouvel artifactory de l'agilfab) depuis notre Jenkins
    - => **Temps consacré à migrer vers Gitlab-CI**
- Problème de droits et d'un environement fonctionnel pour le POC
    - Tentative de rester dans le process, comme préconisé par Stephane qui se révèle peu pratique et insuffisant pour tester la solution dans un premier temps
    - Problèmes liés à l'infra
        - Droits (pouvoir éteindre des machines pour killer le cluster le temps d'avoir quelque chose de stable...)
        - Réseaux mal paramétrés
        - Pas de resources suffisantes
        - Propositions de solutions non compatibles avec la cible
        - => **Perte de temps considérable + réel mécontentement de José-Marie**
- Instabilités liées aux environements  

## Ouvrages

- Refactoring de vj-transaction par Freddy quasi fini (aujourd'hui ou lundi)
- POC mené par José-Marie quasiement sur la fin (execution spark opérationnel mais blocage liés aux resources)
    - Exploration de nombreuses pistes : https://hackmd.io/UuH_OM-XR5e2KCfeDzktsA
- Etats des lieux : 
    - Decomissionnement GCR OK 
    - Decomissionnement phenix-build (nécessaire pour la migration vers spark 3) OK
    - Migration Spark 3 à compléter
    - => Chiffrage grosse maille (me semblant un peu juste avec du recul)
- Aide à l'équipe Finance

## A aborder

- Absences aux daily corops:
    - Utiles dans un premier temps le temps que l'équipe s'installe
    - Devenu compliqué ces derniers temps (déjà un daily avec mon équipe + peu de temps)
    - Me semble moins pertinent car j'apprend globalement les informations qui m'interesse à la réunion corops + LeadTechs
