# Minute meeting CNAF - 23 Marzo 2021 ## CVMFS e failure #### Problema Leggendo contemporaneamente da più job lo stesso file, se il file non è in cache, la lettura a volte fallisce con IO Error. #### Osservazioni - IO Error significa qualche problema legato al filesystem, in particolare a FUSE visto che l'accesso avviene tramite CVMFS. - Siamo sicuri il problema sia solo con dati non presenti in cache? #### Action item - [ ] Fare dei test interattivi usando solo file presenti in cache oppure solo file non presenti in cache. ## Cache not working #### Problema Da circa 10 giorni la cache non sembra più essere popolata, nel senso che ogni primo accesso risulta in un comportamento simile ad un cache-miss. #### Osservazioni - Potrebbe essere causato dal codice? - Follow up: usando `FrCheck` su `virgo-ui-02` si osserva lo stesso comportamento. - Tre settimane fa l'andamento era coerente e le cache miss erano limitate #### Action item - [x] Fare un check immediato tramite `FrCheck` da `virgo-ui-02` ``` gfronze@ui02-virgo:~$ time /cvmfs/oasis.opensciencegrid.org/ligo/deploy/sw/conda/envs/igwn-py38-20210107/bin/FrCheck -d 1 -i /cvmfs/ligo.osgstorage.org/frames/O3/V1Online/V-V1Online-12431/V-V1Online-1243104000-2000.gwf Checking file /cvmfs/ligo.osgstorage.org/frames/O3/V1Online/V-V1Online-12431/V-V1Online-1243104000-2000.gwf Compression will NOT be checked Sequential file reading. Please wait.... 1 frames read 2 frames read 4 frames read 8 frames read 16 frames read 32 frames read 64 frames read 128 frames read 256 frames read 512 frames read 1024 frames read 2000 frame(s) in file. No read error. File Checksum OK (7692e142) Reading using the TOC. Please wait.... Requested time range: 0 - 2147483647 File time range: 1243104000 - 1243106000 1 frames read 2 frames read 4 frames read 8 frames read 16 frames read 32 frames read 64 frames read 128 frames read 256 frames read 512 frames read 1024 frames read 2000 frame(s) in file. No read error. Structure Checksums OK real 2m0.649s user 0m2.019s sys 0m0.376s gfronze@ui02-virgo:~$ time /cvmfs/oasis.opensciencegrid.org/ligo/deploy/sw/conda/envs/igwn-py38-20210107/bin/FrCheck -d 1 -i /cvmfs/ligo.osgstorage.org/frames/O3/V1Online/V-V1Online-12431/V-V1Online-1243104000-2000.gwf Checking file /cvmfs/ligo.osgstorage.org/frames/O3/V1Online/V-V1Online-12431/V-V1Online-1243104000-2000.gwf Compression will NOT be checked Sequential file reading. Please wait.... 1 frames read 2 frames read 4 frames read 8 frames read 16 frames read 32 frames read 64 frames read 128 frames read 256 frames read 512 frames read 1024 frames read 2000 frame(s) in file. No read error. File Checksum OK (7692e142) Reading using the TOC. Please wait.... Requested time range: 0 - 2147483647 File time range: 1243104000 - 1243106000 1 frames read 2 frames read 4 frames read 8 frames read 16 frames read 32 frames read 64 frames read 128 frames read 256 frames read 512 frames read 1024 frames read 2000 frame(s) in file. No read error. Structure Checksums OK real 0m2.443s user 0m2.014s sys 0m0.397s ``` - [ ] Verificare che i file testati siano indicati come presenti in cache nel file di Lucia - [ ] Dal test il file `/cvmfs/ligo.osgstorage.org/frames/O3/V1Online/V-V1Online-12431/V-V1Online-1243104000-2000.gwf` non è trovato localmente al primo accesso. - Confermato dal log della cache, popolata solo al momento del test. - La cache non era stata oggetto di purge, quindi il file avrebbe dovuto esserci - NON c'è uno script che popola la cache, quindi è normale che la maggior parte dei file non ci sia ancora - [ ] Per testare StashCache: - `. /cvmfs/oasis.opensciencegrid.org/osg/sw/module-init.sh` - `module load stashcache` - `stashcp --closest` dovrebbe ritornare `root://xcache.cr.cnaf.infn.it` - [ ] ## Lettura dati locali #### Topic È possibile bypassare la lettura da xCache dei dati tramite CVMFS settando `LIGO_DATA_FRAMES` in `/etc/cvmfs/config.d/oasis.opensciencegrid.org.local` e facendolo puntare ad uno storage POSIX con la stessa struttura utilizzata in xCache. #### Osservazioni - Non è chiaro come questa variabile sia utilizzata da CVMFS - Potrebbe essere utile per CC che hanno cpie locali dei dati - I dati non presenti potrebbero essere "rappresentati" tramite symlink a file in CVMFS? - Potrebbero risultare in riferimenti circolari - Sarebbe bene usare `gwdatafind` per evitare di fare cose a mano - La modalità di lettura locale bypassano l'autenticazione x509. #### Action items - [ ] Fare un test interattivo su WN con Stefano dal Pra'.