---
# System prepended metadata

title: TPC-DS

---

# TPC-DS

**Version**:  Flink (1.14.2, scala 2.12!!)

La suite de test TPCDS telle qu'écrite sur le repo flink génère les tables (script proposé par Ververica) et se nourrit directement sur elles.

* Ne marche pas en mode cluster avec plusieurs TM
* -> Persistent Volume avec les tables et queries sur le cluster


#### Alternative: Minio

* La lib flink-s3-fs-hadoop **requiert** le versionnage des items des buckets
* Minio n'autorise cette fonctionnalité qu'avec 4 drives minimum
* Les tables, queries, et résultats sont/seront stockés dans des buckets sur Minio

**Problème**: 
* Host resolution du Minio depuis les TM -> demander à Guillaume
* TPC-DS utilise une source FS et doit être ré-écrit pour pouvoir lire depuis des buckets

### Ce qui est fait

* Minio fonctionnel avec WordCount
* Script de déploiement Flink et Minio sur K8s.
* Script de génération des tables et queries dans des buckets S3
    * Scaling factor:
        * 1  -> ~1Go de données
        * 10 -> ~10Go de données


### A faire

* Modifier la source du workload TPCDS pour lire depuis S3 plutot que le FS. 
    * Changer CSVTableSource -> FileSource
    * -> Tester en mode session (e.g pas sur le cluster K8s)
* Paramétrage de génération des tables (scaling factor)
