# Traitements IPRAL opérationnels, en cours d'implémentation, et souhaitables
###### tags:`SIRTA` `IPRAL` `SCC` `INDRA` `AERIS/ICARE` `ACTRIS/Earlinet` `CNR/Italy`

graph LR

linkStyle default color:#9f6,fill:none,stroke:black,stroke-width:2px,stroke-arrow:yellow;


subgraph "Legende"

a:::green1 -- flux opérationnel --> b:::green1
linkStyle 0 stroke-width:3px,fill:none,stroke:green;

c:::red3 -->|flux en cours d'implémentation| d:::red3
linkStyle 1 stroke-width:3px,fill:red,stroke:orange;

e:::red1 -- flux souhaitables --> f:::red1
linkStyle 2 stroke-width:3px,fill:red,stroke:red;

A:::green1;
A(algos, Data, présents);
B:::red3;
B(Algos, Data, outils mise en place en cours);
C:::red1;
C(Algos, Data, outils mise en place souhaitable);

end

classDef grey fill:#a98,stroke:#333,stroke-width:4px

classDef red1 fill:#f20,stroke:#333,stroke-width:4px
classDef red2 fill:#f80,stroke:#333,stroke-width:2px
classDef red3 fill:#f80,stroke:#333,stroke-width:1px
classDef red4 fill:#f99,stroke:#333,stroke-width:2px
classDef red5 fill:#f99,stroke:#333,stroke-width:1px

classDef green1 fill:#9f6,stroke:#333,stroke-width:4px
classDef green2 fill:#9f6,stroke:#333,stroke-width:2px
classDef green3 fill:#9f6,stroke:#333,stroke-width:1px

classDef violet1 fill:#c095ea,stroke:#333,stroke-width:4px
classDef violet2 fill:#c095ea,stroke:#333,stroke-width:2px
classDef violet3 fill:#c095ea,stroke:#333,stroke-width:1px

classDef blue1 fill:#3865ff,stroke:#333,stroke-width:4px
classDef blue2 fill:#6689ff,stroke:#333,stroke-width:2px
classDef blue3 fill:#94acff,stroke:#333,stroke-width:1px
classDef blue4 fill:#bdccff,stroke:#333,stroke-width:1px

%%{init: {'theme':'forest'}}%%

graph TD

linkStyle default color:#9f6,fill:none,stroke:black,stroke-width:2px;

subgraph "IPRAL acquisition"
  Electronique:::green1 -- RAW --> PC(PC: <br/> stockage fichiers binaire)
  PC:::green1
end

subgraph "CLIMSERV"

    subgraph "BDD SIRTA"
      PC -- RAW --> BDDL0(BDD L0 binaires zippés)
      BDDL0:::green1
      BDDL1(IPRAL L1 <br/> netcdf <br/> QL png)
      BDDL1:::green1
      Chm(CHM15K)
      Chm:::green1
      RS(RS Trappes Gruan)
      RS:::green1
      linkStyle 0 stroke-width:3px,fill:none,stroke:green;
      linkStyle 1 stroke-width:3px,fill:none,stroke:green;
    end

    subgraph "processing"
    BDDL0 --> scc_auto(Raw2scc <br/> licel2scc converter + scc_access <br/> automatique) -- auto --> Pr2clim(Pr2 <br/> netcdf)
    Chm -- auto --> scc_auto:::red3
    BDDL0 -- auto --> Raw2L1:::green1 -- auto --> BDDL1
    linkStyle 2 stroke-width:3px,fill:none,stroke:orange;
    linkStyle 3 stroke-width:3px,fill:none,stroke:orange;
    linkStyle 4 stroke-width:3px,fill:none,stroke:orange;
    linkStyle 5 stroke-width:3px,fill:none,stroke:green;
    linkStyle 6 stroke-width:3px,fill:none,stroke:green;
    end
end

    sccpr2:::green1 -- manuel --> SCC_Raw
    Pr2mad:::green1 -- API manuel --> SCC_Raw

subgraph "ACTRIS/CNR Datacenter"
    subgraph "SCC Web interface"

        Pr2clim:::red3 -- API auto --> SCC_Raw
        SCC_Config(SCC system configuration: <br/> 375,376,377,378)
        SCC_Config:::green1
        SCC_Products_access:::green1
    linkStyle 7 stroke-width:3px,fill:none,stroke:green;    
    linkStyle 8 stroke-width:3px,fill:none,stroke:green;    
    linkStyle 9 stroke-width:3px,fill:none,stroke:orange;    
    end
    subgraph "BDD SCC"
        SCC_Raw(Raw Data Input) -- submit file <br/> run SCC --> SCC_Produits --> SCC_Products_access
        SCC_Raw:::green1
        SCC_Config:::green1 -- SCC --> SCC_Produits(SCC Produits: <br/> HIRELPP <br/> ELPP <br/> ELDA <br/> ELIC <br/>)
        SCC_Produits:::green1
    linkStyle 10 stroke-width:3px,fill:none,stroke:green;    
    linkStyle 11 stroke-width:3px,fill:none,stroke:green;    
    linkStyle 12 stroke-width:3px,fill:none,stroke:green;    

    end


end

subgraph " PCs Perso"
    subgraph "PC F. Lapouge"

        BDDL1 -- manuel --> INDRA(INDRA inversions <br/> Matlab <br/> interactif <br/> manuel temps llimté)
        RS -- manuel --> INDRA:::green1
    end

    subgraph "PC Chris P."

        Licel2sccCP(licel2scc converter) -- manuel --> sccpr2(Pr2 <br/> netcdf)
        BDDL0 -- manuel --> Licel2sccCP:::green1
        RS -- manuel --> Licel2sccCP
        JNPT(Jupiter notebook plotting tool)
        JNPT:::green1
    end

    subgraph "PC MAD"
        scc_mad(Raw2scc <br/> licel2scc converter + scc_access <br/> automatique) -- manuel --> Pr2mad(Pr2 <br/> netcdf)
        scc_mad:::green1

    end
    linkStyle 13 stroke-width:3px,fill:none,stroke:green;    
    linkStyle 14 stroke-width:3px,fill:none,stroke:green;    
    linkStyle 15 stroke-width:3px,fill:none,stroke:green;    
    linkStyle 16 stroke-width:3px,fill:none,stroke:green;    
    linkStyle 17 stroke-width:3px,fill:none,stroke:green;    
    linkStyle 18 stroke-width:3px,fill:none,stroke:green;    
end

subgraph "AERIS/Icare Datacenter"
    subgraph "BDD_Icare"
    L1_Produits:::green1
    L2_Produits:::green1
    SCC_Produits -- ELPP auto --> SCC_ELPP:::green1
    BDDL0 -->|auto| IPRAL_L0_Produits:::red1
 
    end
    subgraph "Algos"
    SCC_ELPP -->|auto| Icare_Alg(BASIC <br/> GArrlic <BR/> ?? ) -->|auto| L2_Produits
    Icare_Alg:::green1
    STRAT_Config(STRAT IPRAL Config) --> Sirta_alg:::green1
    STRAT_Config:::red1
    IPRAL_L0_Produits --> Sirta_alg(STRAT)
    Sirta_alg:::green
    IPRAL_L0_Produits --> Raw2scc(Raw2scc <br/> licel2scc converter + scc_access <br/> automatique) 
    Raw2scc:::red1 -->|auto| SCC_Raw
    end
    linkStyle 19 stroke-width:3px,fill:none,stroke:green;    
    linkStyle 20 stroke-width:3px,fill:none,stroke:red;    
    linkStyle 21 stroke-width:3px,fill:none,stroke:green;    
    linkStyle 22 stroke-width:3px,fill:none,stroke:green; 
    linkStyle 23 stroke-width:3px,fill:none,stroke:red; 
    linkStyle 24 stroke-width:3px,fill:none,stroke:red; 
    linkStyle 25 stroke-width:3px,fill:none,stroke:red; 
    linkStyle 26 stroke-width:3px,fill:none,stroke:red; 
    
BDDL1 -- auto --> L1_Produits
    linkStyle 27 stroke-width:3px,fill:none,stroke:green; 
end

subgraph "Data Usage & Analysis"
INDRA -->|manuel| QC(QC interne)
INDRA -->|manuel| QC2(QC pour ACtriS-EU <br/> Rayleigh fit <br/> Telecover <br/> Calibration depolar)
SCC_Products_access -->|manuel| JNPT --> |manuel| QC:::green1
Sirta_alg --> Classif(Atmosphère classification <br/> flag BLH,Aer,Cld,...)
Classif:::red1
L1_Produits -->|manuel| RCS(Uncalibrated Range Corrected signals)
BDDL1 -->|manuel| RCS:::green1
L2_Produits --> Analysis:::red1
SCC_Products_access -->|manuel & partially auto| ADB(ACTRIS-EU Database)
ADB:::green1
ADB --> Analysis
RCS -->|cloud optical properties <br/> calipso/Aeolus validation <br/> M. Chiriaco Team| Analysis
end
    linkStyle 27 stroke-width:3px,fill:none,stroke:green; 
    linkStyle 28 stroke-width:3px,fill:none,stroke:green; 
    linkStyle 29 stroke-width:3px,fill:none,stroke:green; 
    linkStyle 30 stroke-width:3px,fill:none,stroke:green; 
    linkStyle 31 stroke-width:3px,fill:none,stroke:red; 
    linkStyle 32 stroke-width:3px,fill:none,stroke:green; 
    linkStyle 33 stroke-width:3px,fill:none,stroke:orange; 
    linkStyle 34 stroke-width:3px,fill:none,stroke:orange; 
    linkStyle 35 stroke-width:3px,fill:none,stroke:red; 
    linkStyle 36 stroke-width:3px,fill:none,stroke:orange; 
    linkStyle 37 stroke-width:3px,fill:none,stroke:red;
    linkStyle 38 stroke-width:3px,fill:none,stroke:orange;

classDef grey fill:#a98,stroke:#333,stroke-width:4px

classDef red1 fill:#f20,stroke:#333,stroke-width:4px
classDef red2 fill:#f80,stroke:#333,stroke-width:2px
classDef red3 fill:#f80,stroke:#333,stroke-width:1px
classDef red4 fill:#f99,stroke:#333,stroke-width:2px
classDef red5 fill:#f99,stroke:#333,stroke-width:1px

classDef green1 fill:#9f6,stroke:#333,stroke-width:4px
classDef green2 fill:#9f6,stroke:#333,stroke-width:2px
classDef green3 fill:#9f6,stroke:#333,stroke-width:1px

classDef violet1 fill:#c095ea,stroke:#333,stroke-width:4px
classDef violet2 fill:#c095ea,stroke:#333,stroke-width:2px
classDef violet3 fill:#c095ea,stroke:#333,stroke-width:1px

classDef blue1 fill:#3865ff,stroke:#333,stroke-width:4px
classDef blue2 fill:#6689ff,stroke:#333,stroke-width:2px
classDef blue3 fill:#94acff,stroke:#333,stroke-width:1px
classDef blue4 fill:#bdccff,stroke:#333,stroke-width:1px

## Réunion Visio du 16 avril 2021
### Présents:
CP, FL, PD, JFR, MH, MAD

### Objectifs:
- faire ressortir les axes de travail possibles pour JFR sur les données IPRAL par rapport á ce qui est disponible ou ce qui peut être disponible assez rapidement
- Mettre disposition sur la BDD SIRTA de données de sortie de SCC triés par type d'observation (nuages, aérosols, ciel clair etc...)

### Conclusions et acions

Suite à la présentation de CP sur les traitments IPRAL, on arrive à ces conclusions et actions futures:

- Il faut maintenir l'algo INDRA qui est sur nos serveur et permet de qualifier la qualité du système IPRAL: fonctionnement des acquisitions, alignement, étalonnage sur le moléculaire, analyse des telecovers. FL est aguérri l'utilisation d'INDRA, il peut ainsi suivre le système. Pour les retrieval, INDRA en donne mais on l'utilise plus pour qualifier le système car INDRA n'est pas fait pour des analyses systèmatiques.
- **Actions:**
- FL maintient INDRA et continue les analyse puis pourra regarder les différences avec les analyses futures de JFR
- Nous devons nous servir des sorties d'analyses de l'algo SCC car la plupart des données IPRAL sont soumises sur cet algo:
- la limitation est que les données déjà transmises sont analysés par une ou plusieurs versions précédentes, ie 5.0, 5.1 alors qu'on en est à l version 5.2
- Une autre limitation est le nom des fichiers qui ne sont pas adaptés car CP à la soumission utilisait le code 4 chiffres en HHMM qui peut amener des incompatibilts avec le nouvel encodage sur lequel MAD et CP se sont accordé.
- l'autre limitation est la base de données SCC n'est pas complète car CP n'a pas soumis toutees les journées d'observations IPRAL.
- L'avantage est que MAD et CP ont finalisé le script de sumission automatique vers SCC, donc on peut soumettre de nouveaux fichiers pour les jours manquants ou remplacer les fichiers actuels ave les nouveaux traités avec la version 5.2
- **Actions:**
- CP et MAD finalysent la mise en place et renforce le script de soumission automatique et récupération des sorties SCC sur climserv.
- CP regarde l'outil scc_access pour lister l'ensemble des jours actuellement diisponibles sur SCC et quels version de SCC a été utilisée.
- CP peut ajouter dans le catalogue des observations IPRAL (fichier Excel) les jours qui ont été soumis à SCC.
- JFR peut mettre au point un algo d'analyse systématique des produits optiques (sorties d'ELDA) ou des produits pre-processed en High-Res (HIRELPP) et appliquer des critères de tri permettant aux utilisateurs SIRTA de pouvoir se servir efficacement des données, soit de niveaux 1 SIRTA, ou de niveaux 2 SCC.
- JFR peut s'appuyer au début sur un code jupyter notebook que CP et MAD ont développé pour la lecture et le plotting des fichiers HIRELPP et ELDA de SCC. Avantage: le code est adapté pour lire les fichiers de la version 5.1 de SCC et ceux de la version 5.2
- JFR regarde les publications SCC pour déterminer avec CP quels sont les paramètres les plus appropriés à étudier parmis tous les retrievals disponibles en sortie de SCC.
- JFR doit pouvoir réćupérer des fichiers sur la base de données SCC voire de soumettre des jours de données à reprocesser.
- **ACTIONS:**
- JFR récupère le code de CP pour se familiariser avec les formats de fichier SCC
- CP, MAD et JFR s'accorderons ensuite pour savoir si on resoumet les fichiers IPrAL vers SCC avec les nouveaux noms de fichiers pour avoir les retrieval avec la dernière version ou si l'on récupère les fichiers actuellement présents dans la BDD SCC.
- CP contacte Giuseppe pour demande des crédentials pour JFR sur le serveur SCC.
- CP a également présenté les produits qui sont récupérés par le datacenter AERIS/Icare deuis la base de données BDD SIRTA, depuis la BDD SCC, et les algos qui sont appliqués sur ces données sur les serveurs ICARE:
- **Actions:**
- CP et MAD travaillent avec Icare pour déterminer ce qui peut être fait pur transférer le code raw2scc sur le datacenter ICare afin de gérer la soumission des données IPRAL et la récupération des sortie SCC sur le data center Icare.
- MAD et CP maintienne raw2scc au SIRTA car au SIRTA nous gérerons la soumision SCC en Near Real Time aec le code des fichiers 0a2a3a4 pour lesquelles SCC utilise les forecast CLoudnet pour la calibration.
- Sur Icare les soumissions pourront se faire avec les radiosondages de trappes pour de meilleures analyses avec les fichiers codés en 1a2a3a4
- CP, JFR et MAD refont une visio Mercredi 21 prochain AM pour finaliser la récupération des données SCC d;abord pour l'année 2020, puis 2019, etc....
- CP recontacte JFR Lundi 19 AM pour finir les explications sur le lidar (les voies, la polar etc...) et passer le code de lecture/plotting SCC.++