# Conférences entreprise
{%hackmd theme-dark %}
## Devoteam
### Plateforme data en temps réel
Composants :
- Streaming
- Data lake
- ETL
- Data warehouse -> stockqge donnée prete à etre comsommée par data scientists
- Exposition et BI -> consommation des données

Chaine de donnée -> pipeline

### Paradigme de conception :
- monolithe de donnée
-> pipelines gérée par même équipe

- Data mesh
-> version microservice, créer un modèle décentralisé

### 1. Streaming

- Flux continus
- Notifications pour chaque ajout/suppression
- Service avec plus grosse capacité d'entrée de donnée qu'une base de donnée
- Découple l'ingestion de donnée du stockage

### 2. Data Lake

- Endroit de stockage pouvqnt prendre plusieurs Exabytes
- Stockage à faible cout
- Différentes classes de stockage selon la fréquence d'accès

### 3. ETL Extract Transform Load

- Extraction de donnée qui arrivent dans le data lake
- restructuration des données
- puis load dans le Data Warehouse

### 4. Data warehouse

- Base de données en colonnes très scalable
- Haute performance
- Montée en compétence très rapide pour les collaborateurs
- Paiement à l'usage
- Couches : interface (interface web pour taper requetes), cloud services, warehouse processing (gerer données), database storage

### 5. Exposition des données et BI

- Consommation des données par les services de l'entreprise
- Mise à disposition des données avec outils de Data Visualization (dataviz)
- Inbedded Analytics : consommer données, modéliser en schéma pour visualiser dans appli mobile
- Services sur plateforme cloud pour machne learning:
- plateforme collaboratives
- puissance de calcul très importantes
- facturation sur la durée d'usage des plateformes
- MLOPS, continuous training
- Automatiser pipeline de data science
- API

### Use case plateforme data
- AWS
- point d'entrée sur kinesis
- donnée sur des S3, déclenchement de cloud fonctions

- GCP
- Azure
- Azure Storage
- Data Factory
- Synapse

### Use cases

#### Gaming

- Société avec plusieurs jeux
- Réflexion en partant du besoin pour meilleure solution
- Besoins :
- Visibilité sur les jeux : revenus, analytics sur joueurs
- Donner dashboard en temps réel et métriques sur le joueur
- Infrastructure :
- Plusieurs jeux déposent données
- Subscription des données sur Pub/Sub
- Dépot sur BigQuery
- Mise à dispo sur le dashboard avec Looker
- Connexion en API pour consommation sur interface Web

#### Cosmétique

- Réflexion sur use case
- Problèmes de scalabilité et de temps réel
- Création d'une infrastructure avec mêmes composants, avec un orchestrator et une interface data science en plus
- entrainement de modèle par sql

### Data Mesh

- Décentralisation des données
- Monolithe vers microservices indépendants
- Data products
- Chaque service/région est proprio de sa donnée de bout en bout
- Notions de gouvernance des données, et data quality
- Organisation horizontale par domaine
- Chaque domaine s'approprie la donnée
- Concept assez récent
- Pousser client pour passer plateforme en mode décentralisé
- Migration selon la méthode agile
- planification en sprints
- backlog pour migration
- faire attention sur comment intégrer nouvelle plateforme, ou mettre en place si c'est from scratch

## CapGemini

### Architecture de microservices

- "build digital agility for clients"
- delivrer de la valeur plus vite
- moderniser l'existant
- innover et transformer simultanément
- projets end to end
- Mixer la vision sectorielle et la valeur technologique

### Engagment chez industriel de l'EAU

- objectifs de mise en place de la Digital Data Factory:
- déploiement de l'agilité à l'échelle
- Transformation IT:
- micro frontend
- move to cloud
- data platform
- integration API
- Cyber sécurité
- déploiement continu
- design authority qui aide l'entreprise a piloté leur transformation du legacy vers le récent
- Robotic process automation

### Architecture Microservices / Micro Frontends

#### Historique

- Archi Monolith :
- quand taille augmente, limites au niveau de la maintenance, de la scalabilité
- frontend / backend
- microservices : backend découpé : chaque service pointe vers son type de donnée
- déploiement plus facile sans impacter toute la brique
- Microfrontend : découpage du frontend

Chaque microfrontend, chaque widget est autonome et embraque toute sa logique
-> communquent par evenements
-> utilisent leurs propre framwork

Espace client : Composite UI avec microservices backend
plusieurs qpplication utilisent les memes données

Architecture macro :
frontend sur stockage azure
cdn pour améliorer performance de dl
API gateway
SI on premise

### Plateforme data

- ingestion, gouvernance, sécurisation, mise en service, machine learning
- hébergé sur Azure