---
# System prepended metadata

title: Plan assises

---

# Sake : Plan 


## Les données dans SEQOIA

Nous présentons les données manipulées à seqoia pour souligné leurs hétérogénités et leurs evolutions dans le temps. 

- **Données internes**
    - Sequencing data : VCF, BAM ..
    - Clinical data & prescription : Spice 
    - Validation data : Gleaves 
    
- **Donnée externes**  
    - Annotations
        - Gnomad
        - SnpEff
        - Geneset Aggregator
        - etc ... 
    - Bibliographique 
        - Pubmed abstract ( je vais les mettres .. un DL)
        - etc ... 


## Problématique 

- Pour faire de la réanalyse automatique sur l'ensemble de ces données, on a les même probleme que le BIG data. Les 3 V ( volume, varieté, vitesse )
    - Des données Volumineuse  (  tableaux des volumes )
    - Des données qui evoluent dans le temps ( graph clinvar )
    - Des données qui doivent être accessible rapidement ( vitesse d'acces au VCF )
    - Des données hétérogènes et non structurée ( qui n'entre pas dans une base SQL )

- Avant le lac, bein on pouvait pas faire de l'analyse sur l'ensemble sans passer 100h à jouer avec des VCF. Maintenant, on a un point d'entrée unique pour demander ce qu'on veut en SQL.


### TODO
- [ ] Tableau: Denombrement des types de fichiers
- [ ] Plot: Evolution du nombre de dossiers
- [ ] Tableau: nombre de samples, variants, genotypes
- [ ] Plot: Evolution de clinvar
- [ ] Tableau: Vitesse d'access vcf vs parquet

## Réponse: un lac de donnée
- C'est quoi ? 
    - Un gros disque dur avec des fichiers parquets 
    - homogénisation des données 
    - Requetable en SQL  rapidement

- Aventage et inconvéniant 
    - Un découplage total entre le stockage et le requetage 
    - Rapide 
    - Optimisé 
    - Peux couteux 
    - Technologies big data: Arrow / duckdb / pola.rs / Spark 

- Schema de l'architectue de SAKE
    - Intégration des données ( Data Ingenieur )
        - Snakemake ( Utilisation d'un DAG pour l'ETL )
        - Schéma de donnée en étoile centre sur le variant ( shema UML / ID unique )
        - On annote que les variants vu dans seqoia 
        - Utilisation de VariantPlanner
    - Consommation des données ( Data Science )
        - Jupyterlab, duckdb, polars, SQL, pola.rs
        - Canapeche 

### TODO
- [ ] Mermaid: shema de Sake : integration des données
- [ ] Mermaid: shema en etoile autour du variant / arborescence dossier


#  VariantPlanner

VariantPlanner : Un outil pour integrer les données genomiques dans 
un lac de donnée au format parquet.

### TODO
- [ ] snippet: exemple code de conversion d'un vcf en parquet


## Clef primaire d'un variant
Le shema en étoile autour du variant impose l'utilisation d'une clef unique. 
- hash : risque de collision, meme si rare
- ID unique: nécessite une table de mapping
- Natir method: 



#  Canapeche 

Requêtes SQL executé sur le lac pour venir pecher des variants . 
Différentes strategies executé à chaque mise à jour du lac. 

##  Les phases d'une requetes avec canapeche

Sur quel machine : CPU et RAM

- 1 detections des variants ( 1 min )
- 2 Annotations ( 1 min )
- 3 récupération des genotypes ( 20 min )

### TODO
- [ ] graphe: les graphes de pierres 
- [ ] Tableau: benchmark vitesse 


## Requete Singleton

Requete / temps / tableau / resultat

## Requete recessif clinvar

Requete / temps / tableau / resultat


## Requete dominant clinvar 

Requete / temps / tableau / resultat


## Requete bi allelique clinvar 

Requete / temps / tableau / resultat


# Conclusion : Vers l'IA

- Interogation du lac de donnée par un LLM en utilisant la technologie de RAG Demo 
- IA Act: reglementation européeene de l'IA autour des Dispositif medicaux
- RGPD


# Autres truc à faire 

- integration des SNV
- Autres strategies 
- integration de pubmed , autres annotations
- Evaluation des strategies par les biologistes
