---
# System prepended metadata

title: Conférences entreprise

---

# Conférences entreprise
{%hackmd theme-dark %}
## Devoteam
### Plateforme data en temps réel
Composants : 
- Streaming
- Data lake 
- ETL
- Data warehouse -> stockqge donnée prete à etre comsommée par data scientists
- Exposition et BI -> consommation des données

Chaine de donnée -> pipeline

### Paradigme de conception : 
- monolithe de donnée
    -> pipelines gérée par même équipe

- Data mesh 
    -> version microservice, créer un modèle décentralisé

### 1. Streaming

- Flux continus 
- Notifications pour chaque ajout/suppression
- Service avec plus grosse capacité d'entrée de donnée qu'une base de donnée
- Découple l'ingestion de donnée du stockage

### 2. Data Lake

- Endroit de stockage pouvqnt prendre plusieurs Exabytes
- Stockage à faible cout
- Différentes classes de stockage selon la fréquence d'accès

### 3. ETL Extract Transform Load

- Extraction de donnée qui arrivent dans le data lake
- restructuration des données 
- puis load dans le Data Warehouse

### 4. Data warehouse

- Base de données en colonnes très scalable
- Haute performance
- Montée en compétence très rapide pour les collaborateurs
- Paiement à l'usage
- Couches : interface (interface web pour taper requetes), cloud services, warehouse processing (gerer données), database storage

### 5. Exposition des données et BI

- Consommation des données par les services de l'entreprise
- Mise à disposition des données avec outils de Data Visualization (dataviz)
- Inbedded Analytics : consommer données, modéliser en schéma pour visualiser dans appli mobile
- Services sur plateforme cloud pour machne learning: 
    - plateforme collaboratives
    - puissance de calcul très importantes
    - facturation sur la durée d'usage des plateformes
    - MLOPS, continuous training
    - Automatiser pipeline de data science
- API

### Use case plateforme data
- AWS
    - point d'entrée sur kinesis
    - donnée sur des S3, déclenchement de cloud fonctions

- GCP
- Azure
    - Azure Storage
    - Data Factory
    - Synapse

### Use cases

#### Gaming

- Société avec plusieurs jeux
- Réflexion en partant du besoin pour meilleure solution
- Besoins : 
    - Visibilité sur les jeux : revenus, analytics sur joueurs
- Donner dashboard en temps réel et métriques sur le joueur
- Infrastructure : 
    - Plusieurs jeux déposent données
    - Subscription des données sur Pub/Sub
    - Dépot sur BigQuery
    - Mise à dispo sur le dashboard avec Looker
    - Connexion en API pour consommation sur interface Web

#### Cosmétique

- Réflexion sur use case
- Problèmes de scalabilité et de temps réel
- Création d'une infrastructure avec mêmes composants, avec un orchestrator et une interface data science en plus
- entrainement de modèle par sql

### Data Mesh

- Décentralisation des données
- Monolithe vers microservices indépendants
- Data products
- Chaque service/région est proprio de sa donnée de bout en bout
- Notions de gouvernance des données, et data quality
- Organisation horizontale par domaine
- Chaque domaine s'approprie la donnée
- Concept assez récent
- Pousser client pour passer plateforme en mode décentralisé
- Migration selon la méthode agile
    - planification en sprints
    - backlog pour migration
    - faire attention sur comment intégrer nouvelle plateforme, ou mettre en place si c'est from scratch

## CapGemini

### Architecture de microservices

- "build digital agility for clients"
- delivrer de la valeur plus vite
- moderniser l'existant
- innover et transformer simultanément
- projets end to end
- Mixer la vision sectorielle et la valeur technologique

### Engagment chez industriel de l'EAU

- objectifs de mise en place de la Digital Data Factory: 
    - déploiement de l'agilité à l'échelle
    - Transformation IT:
        - micro frontend
        - move to cloud
        - data platform
        - integration API
    - Cyber sécurité
    - déploiement continu
    - design authority qui aide l'entreprise a piloté leur transformation du legacy vers le récent
    - Robotic process automation

### Architecture Microservices / Micro Frontends

#### Historique

- Archi Monolith : 
    - quand taille augmente, limites au niveau de la maintenance, de la scalabilité
- frontend / backend
- microservices : backend découpé : chaque service pointe vers son type de donnée
    - déploiement plus facile sans impacter toute la brique
- Microfrontend : découpage du frontend

Chaque microfrontend, chaque widget est autonome et embraque toute sa logique
-> communquent par evenements
-> utilisent leurs propre framwork

Espace client : Composite UI avec microservices backend
plusieurs qpplication utilisent les memes données

Architecture macro : 
frontend sur stockage azure
cdn pour améliorer performance de dl
API gateway
SI on premise

### Plateforme data

- ingestion, gouvernance, sécurisation, mise en service, machine learning
- hébergé sur Azure

