# Architecture de la circulation des données NGS

## Objet et domaine d'application

Ce document décrit l'architecture des flux de données NGS depuis leurs productions jusqu'à leurs interprétations.

## Personnes concernées

Biologiste & ingénieurs & Technicien

## Responsabilités

Sacha Schutz

## Document de références ( Kalilab)

- Les guides d'utilisation ( SeqNext / Seqone / TSV )
- Matrice de risques
- Reconnaissance des compétences
- Charte administration informatique
- SH-GTA-16

## Liens web ( A mettre dans Kalilab ? )

- COFRAC SH GTA 16 : Guide technique d'accréditation de la technologie de séquençage à haut débit (NGS)
[https://tools.cofrac.fr/documentation/SH-GTA-16](https://tools.cofrac.fr/documentation/SH-GTA-16)

- Qualification des solutions bioinformatiques ( NGS-DIAG / ANPGM)
https://anpgm.fr/media/documents/BP_NGSDiag_005_Qualification_Bioinfo_Notice_technique_Final.pdf

- Recommandations générales pour la gestion informatique des données et des analyses de séquençage à haut débit pour les laboratoires de diagnostic moléculaire de maladies génétiques.
https://anpgm.fr/media/documents/BP-GT1_Recommandations_NGS_Info_fzWYgEK.pdf

- Conception de logiciels pour le diagnostic clinique par NGS (e-cancer.fr)
https://www.e-cancer.fr/content/download/224959/3070300/file/Conception_de_logiciels_pour_le_diagnostic_clinique_par_sequencage_haut_debit_mel_20180221.pdf

- Recommandations ANPGM pour l’élaboration d’un compte rendu de résultats obtenus par analyse de Séquençage de Nouvelle Génération (NGS)
https://anpgm.fr/media/documents/BP-ANPGM_009-CR-NGS.pdf

- Seqone (manuel ??)
https://seqone.com/
- SeqNext
https://www.jsi-medisys.de/products/sequence-pilot/seqnext/
- TypeStream Visual User Manual https://www.veritastk.co.jp/hla/pdf/TSV2.0_InstallationGuide.pdf
- ArcherDX User Manual https://analysis.archerdx.com/static/Archer_Analysis_Manual_4_1_0.pdf

## Généralité

flowchart TB
    classDef seq fill:#a9daf5,stroke:#0e577f
    classDef server fill:#ffcd89,stroke:#b26600
    classDef client fill:#9aeddf,stroke:#147968
    classDef nas fill:#fb8d8d,stroke:#e15f41

    PGM[PGM]:::seq--http-->IonTorrent[[IonTorrent Server]]
    IonTorrent:::server-->|cron job|NAS[(Stockage \nNAS)]
    M[MiniSeq]:::seq-- universal copy --> NAS
    
    N[NextSeq]:::seq-- universal copy --> NAS
    NAS:::nas-->SeqNext(SeqNext):::client
    IonTorrent-->SeqNext
    NAS --> Seqone(Seqone):::client
    NAS --> Archer(Archer):::client
    NAS --> TSV(TSV):::client
    
    SeqNext -.-> Muco{{Mucoviscidose}}:::analyse
    SeqNext -.-> Panc{{Pancreatite}}:::analyse
    SeqNext -.-> Pharmaco{{Pharmacogénétique}}:::analyse
    SeqNext -.-> PKD{{Polykystose}}

    Seqone -.-> Exome{{Exome}}:::analyse
    Seqone -.-> Muco:::analyse
    Seqone -.-> Surd{{Surdité}}:::analyse
    Seqone -.-> Hemo{{Hémochromatose}}
    Archer -.-> Cancero{{Somatique}}:::analyse
    TSV -.-> HLA{{HLA}}:::analyse

### Production des données
Les données NGS sont produites au laboratoire par 3 séquenceurs :

- Ion Torrent PGM
- Illumina MiniSeq
- Illumina NextSeq 500

### Traitement des données
Les données brutes sont transformées en données finales par des outils bioinformatiques propriétaires exécutés sur des serveurs locaux ou distants:

- **Serveurs locaux**:
- IonTorrent Server
- Serveur pour SeqNext
- Serveur pour TSV 2.0
- Serveur pour Archer Dx 6.2
- **Serveur distant**:
- Seqone

### Interprétation des données
Les données finales sont interprétées par des interfaces logiciels propriétaires. Il s'agit soit de client web soit de client lourd.

- **Client web**
- Seqone
- Archer Dx 6.2
- **Client lourd**
- SeqNext
- TSV 2.0

### Archivage des données
Les données sont sauvegardées sur un NAS hébergé par la DSI.

## Production des données par les séquenceurs

### Ion Torrent PGM
Il s'agit d'un séquenceur short-reads basé sur la détection d'ions hydrogène libérés durant la polymérisation de l'ADN.
[LIENS : Pour plus de détail technique: Voir xxx]()

Sont réalisé sur cet appareil, le séquençage en panel pour:

- les pancréatites
- la génétique somatique
- la pharmacogénétique.

[LIENS : Guide technique Kalilab]()

#### Écriture des données brutes

Les données brutes ( ionogramme ) du séquenceur sont directement transférées sur le serveur IonTorrent via une connexion réseau.
Les données brutes sont accessibles via une connexion ssh à l'adresse suivante:

ssh {user}:{password}@10.67.71.17:/results/analysis/output/Home

#### Débit et volume de données

Le débit dépend de la puce utilisée :

- 318™ Chip :
- Taille des reads : 200 pb
- Nombre de reads : 4-5 Millions
- Débit : 600 Mb - 2.0 Gb
- Temps d'acquisition : 4-7 hours

- 316™ Chip :
- Taille des reads : 200 pb
- Nombre de reads : 2-3 Millions
- Débit : 300 Mb-1.0 Gb
- Temps d'acquisition : 3-5 hours

### Illumina MiniSeq

Il s'agit d'un séquenceur short-read basé sur la détection de fluorescence lors de la polymérisation de l'ADN.
[LIENS : Pour plus de détail technique: Voir xxx]()

Sont réalisé sur cet appareil, le séquençage en panel pour :
[LIENS : Guide technique Kalilab]()

- le HLA
- la mucoviscidose
- la polykystose rénale
- l'hémochromatose
- le RNA seq pour la génétique somatique.

#### Écriture des données brutes

Les données brutes (Run Illumina avec fichiers BCL) sont écrites sur une machine Windows 7 intégrée au séquenceur et sont copiées parallèlement sur le NAS via le service "Universal Copy Service (UCS)" intégré à Local Run Manager. Lors du paramétrage d'un run, le technicien configure le chemin de destination sur le NAS. Tous les RUN du MiniSeq sont sauvegardés à l'adresse suivante :

////NAS3/R60/Sequenceur_Mini_Seq/

#### Débit et volume de données

Le débit dépend de la flow cell :

- Mid-Output :
- Taille des reads : 2x150 pb
- Nombre de reads : 8 Millions
- Débit : 2.4 G
- Temps d'acquisition : xx hours

- High-Output :
- Taille des reads : 150 pb
- Nombre de reads : 25 Millions
- Débit : 2Gb - 7 Gb
- Temps d'acquisition : xx hours

### Illumina NextSeq 500

Il s'agit d'un séquenceur short-read basé sur la détection de fluorescence lors de la polymérisation de l'ADN.
[LIENS : Pour plus de détail technique: Voir xxx](https://support.illumina.com/content/dam/illumina-support/documents/documentation/system_documentation/translations/nextseq-500-system-guide-15046563-fra.pdf)

Sont réalisé sur cet appareil, le séquençage:
[LIENS : Guide technique Kalilab]()

- des exomes
- du panel de surdité.

#### Écriture des données brutes

Les données brutes (Run Illumina avec fichiers BCL) sont écrites sur la machine Windows intégrée au séquenceur et sont copiées automatiquement sur le NAS via le service "Universal Copy Service (UCS)" intégré à Local Run Manager. Lors du paramétrage d'un run, le technicien configure le chemin de destination sur le NAS. Tous les RUN du NextSeq sont sauvegardés à l'adresse suivante :

//NAS3/R60/Sequenceur_NextSeq/

#### Débit et volume de données

Le débit dépend de la flow cell :

- Mid-Output :
- Taille des reads : 2x150 pb
- Nombre de reads : 260 Millions
- Débit : 32Gb - 39Gb
- Temps d'acquisition : 26 hours

- High-Output :
- Taille des reads : 2x150 pb
- Nombre de reads : 800 Millions
- Débit : 100Gb - 120Gb
- Temps d'acquisition : 26 hours

## Traitement des données

### Serveur Ion Torrent
le séquenceur PGM est associés à un serveur de calcul permettant de réaliser les analyses bioinformatiques contrôlables depuis une interface web (Torrent Browser) disponible à l'adresse suivante [http://10.67.71.17](http://10.67.71.17)
[LIENS : Guide technique Kalilab]()

#### Caractéristique technique

- Localisation: Laboratoire de génétique
- Piece : XXX
- Mémoire: 128 Giga
- Processeurs: 2 x Intel(R) Xeon(R) CPU E5-2660 v3 @ 2.60GHz
- Nombre de Threads: 20
- Disque: 11 To ( RAID / LLVM )
- OS: Ubuntu 14.04.5 LTS
- IP: 10.67.71.17
- DNS: non
- Accès ssh : oui
- Version: Torrent Suite 5.10.1
- Torrent Mapper 5.10
- VariantCaller 5.12
- Responsable: Thermofisher & DSI
- Biologiste référent : SS & MPA
- Support: https://www.thermofisher.com/fr/fr/home/technical-resources/contact-us.html
- Documentation : http://10.67.71.17/ion-docs/GUID-FCA52DF5-0A34-482A-8C18-716207EF8762.html
- Sécurité : Accès root
- Archivage : //NAS1/W5/W5-002/pgm

#### Fonctionnement du pipeline

L'algorithme utilisé par Torrent Suite est propriétaire. Les étapes de transformation sont donc détaillées ici de façon succincte.

- Les données brutes ionogramme sont converti en fichier de séquence. Il ne s'agit pas de fichier Fastq, mais de fichier UBAM permettant de supporter plus d'information. A l'instar des fichier BAM, les fichiers UBAM n'ont pas d'information d'alignement.
- Les données de séquences sont aligné avec *torrent mapper* pour produire des fichiers BAM sur le génome de référence hg19.
- Le variant calling est réalisé sur les fichiers BAM pour produire un fichier VCF avec *variantCaller*.
- D'autres analyses peuvent ère réalisée par l'intermédiaire de plugin.
- Les résultats sont disponibles et téléchargeables sur l'interface web Torrent Server


#### Paramétrage et qualité par analyses

##### Pancreatite
- Paramétrage
- Fichier BED: /chemin/vers/pancreatite
- Paramètre d'alignement: default
- Paramètre du calling: default
- Qualité
- Nombre de reads attendu: > 3 millions
- Clonalité < 50%
- Tailles des reads moyen : 110 ~ 10 pb

##### Génétique Somatique
- Paramétrage
- Fichier BED: /chemin/vers/pancreatite
- Paramètre d'alignement: default
- Paramètre du calling: default
- Qualité
- Nombre de reads attendu: > 3 millions
- Clonalité < 50%
- Tailles des reads moyen : 110 ~ 10 pb

##### Pharmacogénomique
- Paramétrage
- Fichier BED: /chemin/vers/pancreatite
- Paramètre d'alignement: default
- Paramètre du calling: default
- Qualité
- Nombre de reads attendu: > 3 millions
- Clonalité < 50%
- Tailles des reads moyen : 110 ~ 10 pb

#### Archivage

Les Données NGS (BAM + VCF + metadata) sont sauvegardées automatiquement via un job CRON sur le NAS. Le script d'archivage est le suivant:

{ion_torrent_server}:root/scripts/archive_iontorrent_runs.py

### Serveur TSV
Au laboratoire HLA, les Fastq provenant du MiniSeq sont importés dans un serveur de calcul géré par le logiciel TSV.

#### Caractéristique technique

- Localisation: Laboratoire de HLA
- Piece : XXX
- Mémoire: 128 Giga
- Processeurs: Intel R) Core(RM) i7-12700
- Nombre de Threads: 20
- Disque: 2 x 475 Giga
- OS: Windows 10 Pro - 10.0.19044
- IP: 10.67.70.82
- DNS: CHU-BIOMED-05
- Accès ssh : non
- Version: 2.1.0
- Base de donnée HLA Library : 3.48
- Microsoft SQL server ( local/FUSION_SQL14EXP )
- Responsable: DSI & Biomed
- Biologiste référent : Bernard
- Support: Eurobio / mail
- Documentation : ??
- Sécurité : 1 administrateur
- Archivage : //NAS3/R60/R60-011/HLA NGS/Backup TSV

#### Fonctionnement du pipeline

L'algorithme utilisé par TSV est propriétaire. Les étapes de transformation sont donc détaillées ici de façon succincte.

- Import des fichiers Fastq depuis le NAS dans TSV depuis le logiciel.
- Alignement des reads sur la base de donnée HLA library.
- Détection des combinaisons alléliques
- Identification du typage HLA
- Sauvegarde des résultats sur une base de données Microsoft SQL Sever

#### Archivage
Un backup de la base de données SQL serveur est réalisé automatiquement via le programme Synkron (Cron pour windows) sur le NAS.

#### Paramétrage et qualité par analyses

- Paramétrage
- ?????????
- Qualité
- ?????????

### Serveur SeqNext

Pour la mucoviscidose, la génétique somatique, la pancréatite et la pharmacogénétique, les Fastq sont intégrés directement depuis le logiciel SeqNext.

#### Caractéristique technique

- Localisation: Labo de génétique
- Piece : salle des séquenceurs
- Mémoire: ???
- Processeurs:???
- Nombre de Threads: ???
- Disque: ???
- OS: Windows
- IP: 10.67.71.17 ??
- DNS: non
- Accès ssh : non
- Version: ???
- Responsable: Thermofisher & DSI
- Biologiste référent : MPA
- Support: https://www.thermofisher.com/fr/fr/home/technical-resources/contact-us.html
- Documentation : http://10.67.71.17/ion-docs/GUID-FCA52DF5-0A34-482A-8C18-716207EF8762.html
- Sécurité : ??
- Archivage : NAS

#### Fonctionnement du pipeline

JE SAIS PAS...

#### Paramétrage et qualité par analyses

PAR DEFAULT ... SHEET ..
VOIR la doc

##### Muco
- Paramétrage

- Qualité

##### Cancero
- Paramétrage

- Qualité

#### Archivage

Les RUN NGS produit par le sequenceurs sont sauvegardées implicitement sur le NAS après leurs production.

### Serveur Seqone

#### Caractéristique technique

- Localisation: CLOUD
- Piece : CLOUD
- Mémoire: ???
- Processeurs: ???
- Nombre de Threads: ???
- Disque: ???
- OS: ???
- IP: app.seq.one
- DNS: non
- Accès ssh : oui
- Version: ( voir doc )
- Responsable: Seqoine
- Biologiste référent : SS & MPA
- Support: Seqone
- Documentation : Seqone
- Sécurité : ???
- Archivage : //NAS3/R60/Sequenceur_[Next|Mini]Seq/

#### Fonctionnement du pipeline

voir doc seqone
pipeline

#### Paramétrage et qualité par analyses

Suivi etc ...

##### Exome
- Paramétrage

- Qualité

#### Archivage

Les RUN NGS produit par le sequenceurs sont sauvegardées implicitement sur le NAS après leurs production.

### Serveur Archer

Les Fastq produits par le MiniSeq sont transférés manuellement sur un serveur local dans les locaux du laboratoire. une VM de l'application Archer tourne sur VirtualBox.

#### Caractéristique technique

- Localisation: Labo de génétique
- Piece : Salle de réunion
- Mémoire: 64G
- Processeurs: 1 x Intel(R) Xeon(R) CPU E5-2620 v4 @ 2.10GHz
- Nombre de Threads: 16
- Disque: 1 To
- OS: Ubuntu 20.04.5 LTS
- IP: 10.67.70.15
- DNS: neutron
- Accès ssh : oui
- Version: ( voir doc )
- Responsable: Archer
- Biologiste référent : SS & Cédric
- Support: Archer
- Documentation : ARcher
- Sécurité : ???
- Archivage : //NAS3/R60/Sequenceur_[Next|Mini]Seq/

#### Fonctionnement du pipeline

voir doc

#### Paramétrage et qualité par analyses

Suivi etc ...

##### Exome
- Paramétrage

- Qualité

#### Archivage

Les RUN NGS produits par le séquenceur sont sauvegardés implicitement sur le NAS après leurs productions.

## Note technique sur le NAS
- NAS RAID
- Double sauvegarde
- Journalisation dans une fenêtre de 1 semaine
- Samusung NAS

## Glossaire et définition

- BAM
Fichier binaire contenant les reads associés à leurs positions d'alignement.
- BAI
Fichier binaire contenant l'indexation d'un fichier BAM permettant d'accélérer son traitement
- UBAM
Fichier binaire produit par le PGM contenant des reads sans leurs position d'alignement
- FASTQ
Fichier texte contenant l'ensemble des reads produits par un séquenceurs associés à leurs qualités
- FASTA
Fichier texte contenant des séquences. Ce format est utilisé par les genomes de références hg19.
- VCF
Fichier texte contenant l'ensemble des variants detectés par un variant caller
- TBI
Fichier texte contenant l'indexation d'un fichier VCF pour faciliter son traitement
- BED
Fichier texte d'annotation de region génomique.