Meeting Minute

10:00 Réunion GTAL sur le bilan des flux de données, des analyses QCs et des outils appliqués aux Lidars tropos ACTRIS-FR === ###### tags: `ACTRIS-FR` `Meeting` `CARS` `AERIS/Icare` :::info - **Location:** Visio - **Date:** Août 30, 2023 10:00 AM (CET) - **Agenda** 1. Présentation du sujet `5min` > [name=CP] 2. Faire le point sur l'état du transfert des données brutes Lidar ACTRIS-FR vers AERIS/Icare et CNR-SCC par nos 3 stations > liste des choses en place et fonctionnelles > liste des problèmes en cours et actions à faire: 3. Point sur le nouvel algo d'expertise QC des données lidar: décision si option de maintenir l'algo au niveau des sites ou pertinence de le déployer aussi sur AERIS/Icare 4. Points des traitements des données sites sur SCC et opportunités sur AERIS/Icare pour les analyses avec d'autres algos: BASIC, GArrlic, Austral: quelles actions côté PIs de site, quelles actions pour demander l'implication d'Icare? > En tout cas, préparation pour la future réunion GT1 5. Conclusions: - **Participants:** - C. Pietras (CP) - T. Podvin (TP) - M.A. Drouin (MAD) - absent - Cédric Tétard (CT) - Nicolas Pascal (NP) - excusé - P. Freville (PF) - **Contact:** C. Pietras <christophe.pietras@lmd.ipsl.fr> - **Host:** CP - **Reference:** - [ATLAS](https://github.com/nikolaos-siomos/ATLAS) ::: ## Commentaires libres pour les participants :dart: Liste des actions --- - Court terme: - Icare envoie un report log SCC à CP (=> FAIT le 31/08/2023) et CP demande soutien SCC team sur les analyses HIRELPP avec le brilliant pour préparer les configs sur le nouveau laser. - CT modifie les ids SCC pour PUY (765 nuit et 766 jour) => FAIT le 31/08/2023 - CP demande à MAD un point sur les netcdf crées sur la base SIRTA et pour les envoyer à AERIS/ICARE - TP envoie le devis Licel pour l'achat du module pré-trig à implémenter sur nos systèmes pur CARS - CT s'assure que les données brutes et les données netcdf PR2 sont bien présents sur Aeris/icare pour le dashboard. - CT envoie le log des retours de soumission et de process des données SIR à SCC pour que CP puisse demander l'avis et le support à la team SCC sur les problèmes rencontrés. - CP envoie ce CR au reponsable du GT1 (PG) pour préparer la prochaine réunion GT1. - Long terme: - SIR va devoir implémenter le pré-trig, achat+install. PUY utilise pour l'instant le pre-trig sur lamp-out et vois avec CArS si acceptable ou si le module Licel est absilument nécessaire - Comment fournir et disposer des données QCs des trois stations SIR, LLE, PUY sur Aeris/Icare. :books: Questions libres en cours d'échanges --- - Pourquoi PUY et LLE passent en pre-trig. - SIR devrait il passer en pre-trig aussi? ou pas nécessaire. - oui mandatory requirement est d'avoir le pre-trig - Pareil pour l'overlap, il faut 300m. A discuter en interne SIRTA - Soit brancher un cable du lamp-out vers Licel (Qswitch PB 175 micros donc 3500bins) - Le mieux est d'acheter un module pre-trig Licel. Mieux - Mais il faut changer toutes les configs et les fichiers bruts pour avoir plus de points - CT idée du timing pour le changement sur PUY? tout de suite, voir plus haut - PUY va bloquer 2 configs SCC pour earthcare. - TP dans SCC sur les canaux que veux dire daytime capability? cocher ou pas? surement si on veux analyser les données raman de jou ou de nuit mas pas sûr? A priori après vérification, cela ne sert à rien. ## Notes au fil de l'eau par CP  **1. Présentation du sujet `5min`** > [name=CP] - CP rappelle les objectifs de cette vision. Se mettre en cohénce sur les actions faites ou à faire avant une prochaine réunion du GT1 - CP demande si l'ODJ convient à tous: OK **2. Faire le point sur l'état du transfert des données brutes Lidar ACTRIS-FR vers AERIS/Icare et CNR-SCC par nos 3 stations** - Faire la liste des choses en place et fonctionnelles > liste des problèmes en cours et actions à faire: > Xfer journalier par l'outil ftp avec pull d'Icare sur les serveurs stations > **SIR**: - Xfer des données brutes - OK - Xfer IPRAL/spectra vers SCC sur 4 configs lockés d'analyse: OK - depuis juin 2023 IPRAL/Brilliant vers SCC sur 3 configs 751, 752, 757 compatibles avec les nouveaux fichiers bruts type Licel pur - A partir de octobre 2023, IPRAL/newLaser vers SCC sur 4 configs meme règle que le brilliant > **LLE**: - Xfer des données brutes - OK - Dans la SCC, depuis 2 ans LLE n'a pas déclaré que les données proviennent d'un autre laser. - LLE a crée deux nouvelles configs SCC qui tient compte du laser Qsmart qui permettra d'avoir une cohérence entre les analyses QCs Atlas et les analyses SCC. - Icare va mettre en place un flux adapté pour LLE vers SCC. > **PUY**: - Xfer des données brutes - OK - PUY est en standby depuis quelques semaines (pre-trig + eyepiece) - Les configs scc actuelles vont devoir être changées - PUY fonctionne en pre-trig et plus en post trig - PUY a ajouté des eyepieces. Donc nouvelle version de Lidar dans SCC. - PUY a crée 2 nlles configs 765(N), 766(J) qui prennent en compte les modifications et qui seront vouées à être locker pour atmo-access/earthcare. Note: Chaque PI des stations peut aller voir les différentes configs des autres sur le site SCC en allant dans l'onglet HOI. **3. Point sur le nouvel algo d'expertise QC des données lidar: décision si option de maintenir l'algo au niveau des sites ou pertinence de le déployer aussi sur AERIS** - Qui se sert d'ATLAS déjà en interne? et qui marche. SIR, LLE, PUY > SIR, LLE, PUY avec les configs en cours - Qui a soumis des QCs à CARS? > PUY en a soumis mais seront pas traités et surement pas analysés > Tests assurance qualité à CARS avec Atlas mais les équipes de CARS ne sont pas prés. Atlas est en perpétuel amélioration. > PUY a soumis avant d'avoir le protocole. > PUY va resoumettre ce soir. > SIR attends le nouveau Laser. CARS a recommandé a SIR de ne pas soumettre de données Atlas pour le moment avec le laser inadéquat. Mieux vaut attendre et regarder ATLAS en interne - LLE a soumis à CARS pour mettre des données dans le docssier LLE mais sans telecover. LLE a test le inner et outer dans ATlas n'a pas marché. - LLE ne savait pas qu'il fallait faire correspondre les données à scc avec les données de QC: lié au protocole dont PF parle. SIR est encore moins au point. > Pourras t'on le déployer chez ICARE? Est ce raisonnable ou pas? - non. Ca fait faire le travail deux fois. - TP pense qu'à terme la soumission des données QC seraient automatique et les analyses bonnes ou mauvaises seraient arbitrées automatiquement par CARS. ainsi on pourrait envisager de passer dans ce cas par ICARE. Mais la team CARS est loin d'être prête donc pas d'urgence à déployer ATLAS sur AERIS/Icare Avantages: les PIs ne feraient que les mesures, ATLAS ne tournerait que sur Icare Inconvénients: les Pis perdraient peut être de l'expertise. - Autre option: les PIs de stations processent en interne et si ils sont satisfaits, les PIs pourraient transmettre les outputs vers ICARE mais ce serait les PIs qui soumettent aussi les QCs vers CARS. **4. Points des traitements des données sites sur SCC et opportunités sur AERIS/Icare pour les analyses avec d'autres algos: BASIC, GArrlic, Austral: quelles actions côté PIs de site, quelles actions pour demander l'implication d'Icare?** > En tout cas, préparation pour la future réunion GT1 - voir à alimenter le Dashboard Icare/ACTRIS-FR. OK pour LLE et PUY - voir pour SIR avec le lidar en version laser brilliant et nouveau laser: MAD doit finaliser la production des netcdf et ré-activer le transfert vers AERIS/Icare par le ftp > Sur Icare y a t'il d'autres algos appliqués aux données? LLE: GARRLIC (a partir des outputs SCC) SIR: IPRAL rien. PUY: BASIC, GARRLIC, STRAT mais intérompu en 2019 **5. Conclusions:** > discussion sur la synthèse des actions à faire par chacun. **Notes transverses:** > Pretrig préconisé 20 micro secondes. On peut le faire avec leur soft. CP va vérifier si un ou deux lasers sont associés dans les canaux SCC avec le laser brilliant, et spectra et informer TP et PF > dans le netcdf parameter donné à Icare. Il y a backgroung low, et background high et sont les bins utilisés en fond de ciel. SIR:50000, 60000 en m PUY: 3000, 3450 en bins avec dans la scc channels un first signal range bin à 3498 pour une voie en exemple avec background mode (pre-trigger ou far field) Pour rappel le guidelines pour les data submissions sont dans le share INOE Documentation