---
# System prepended metadata

title: Minute meeting CNAF - 23 Marzo 2021

---

# Minute meeting CNAF - 23 Marzo 2021
## CVMFS e failure

#### Problema
Leggendo contemporaneamente da più job lo stesso file, se il file non è in cache, la lettura a volte fallisce con IO Error.

#### Osservazioni
- IO Error significa qualche problema legato al filesystem, in particolare a FUSE visto che l'accesso avviene tramite CVMFS.
- Siamo sicuri il problema sia solo con dati non presenti in cache?

#### Action item
- [ ] Fare dei test interattivi usando solo file presenti in cache oppure solo file non presenti in cache.

## Cache not working

#### Problema
Da circa 10 giorni la cache non sembra più essere popolata, nel senso che ogni primo accesso risulta in un comportamento simile ad un cache-miss.

#### Osservazioni
- Potrebbe essere causato dal codice?
    - Follow up: usando `FrCheck` su `virgo-ui-02` si osserva lo stesso comportamento.
- Tre settimane fa l'andamento era coerente e le cache miss erano limitate

#### Action item
- [x] Fare un check immediato tramite `FrCheck` da `virgo-ui-02`
    ```
    gfronze@ui02-virgo:~$ time /cvmfs/oasis.opensciencegrid.org/ligo/deploy/sw/conda/envs/igwn-py38-20210107/bin/FrCheck -d 1 -i /cvmfs/ligo.osgstorage.org/frames/O3/V1Online/V-V1Online-12431/V-V1Online-1243104000-2000.gwf
     Checking file /cvmfs/ligo.osgstorage.org/frames/O3/V1Online/V-V1Online-12431/V-V1Online-1243104000-2000.gwf
     Compression will NOT be checked

      Sequential file reading. Please wait....
            1 frames read
            2 frames read
            4 frames read
            8 frames read
           16 frames read
           32 frames read
           64 frames read
          128 frames read
          256 frames read
          512 frames read
         1024 frames read
       2000 frame(s) in file. No read error. File Checksum OK (7692e142)

      Reading using the TOC. Please wait....
       Requested time range:         0 - 2147483647
            File time range: 1243104000 - 1243106000
            1 frames read
            2 frames read
            4 frames read
            8 frames read
           16 frames read
           32 frames read
           64 frames read
          128 frames read
          256 frames read
          512 frames read
         1024 frames read
       2000 frame(s) in file. No read error. Structure Checksums OK

    real	2m0.649s
    user	0m2.019s
    sys	0m0.376s
    gfronze@ui02-virgo:~$ time /cvmfs/oasis.opensciencegrid.org/ligo/deploy/sw/conda/envs/igwn-py38-20210107/bin/FrCheck -d 1 -i /cvmfs/ligo.osgstorage.org/frames/O3/V1Online/V-V1Online-12431/V-V1Online-1243104000-2000.gwf
     Checking file /cvmfs/ligo.osgstorage.org/frames/O3/V1Online/V-V1Online-12431/V-V1Online-1243104000-2000.gwf
     Compression will NOT be checked

      Sequential file reading. Please wait....
            1 frames read
            2 frames read
            4 frames read
            8 frames read
           16 frames read
           32 frames read
           64 frames read
          128 frames read
          256 frames read
          512 frames read
         1024 frames read
       2000 frame(s) in file. No read error. File Checksum OK (7692e142)

      Reading using the TOC. Please wait....
       Requested time range:         0 - 2147483647
            File time range: 1243104000 - 1243106000
            1 frames read
            2 frames read
            4 frames read
            8 frames read
           16 frames read
           32 frames read
           64 frames read
          128 frames read
          256 frames read
          512 frames read
         1024 frames read
       2000 frame(s) in file. No read error. Structure Checksums OK

    real	0m2.443s
    user	0m2.014s
    sys	0m0.397s
    ```
- [ ] Verificare che i file testati siano indicati come presenti in cache nel file di Lucia
- [ ] Dal test il file `/cvmfs/ligo.osgstorage.org/frames/O3/V1Online/V-V1Online-12431/V-V1Online-1243104000-2000.gwf` non è trovato localmente al primo accesso.
    - Confermato dal log della cache, popolata solo al momento del test.
    - La cache non era stata oggetto di purge, quindi il file avrebbe dovuto esserci
    - NON c'è uno script che popola la cache, quindi è normale che la maggior parte dei file non ci sia ancora
- [ ] Per testare StashCache:
    - `. /cvmfs/oasis.opensciencegrid.org/osg/sw/module-init.sh`
    - `module load stashcache`
    - `stashcp --closest` dovrebbe ritornare `root://xcache.cr.cnaf.infn.it`
- [ ] 

## Lettura dati locali

#### Topic
È possibile bypassare la lettura da xCache dei dati tramite CVMFS settando `LIGO_DATA_FRAMES` in `/etc/cvmfs/config.d/oasis.opensciencegrid.org.local` e facendolo puntare ad uno storage POSIX con la stessa struttura utilizzata in xCache.

#### Osservazioni
- Non è chiaro come questa variabile sia utilizzata da CVMFS
- Potrebbe essere utile per CC che hanno cpie locali dei dati
- I dati non presenti potrebbero essere "rappresentati" tramite symlink a file in CVMFS?
    - Potrebbero risultare in riferimenti circolari
- Sarebbe bene usare `gwdatafind` per evitare di fare cose a mano
- La modalità di lettura locale bypassano l'autenticazione x509.

#### Action items
- [ ] Fare un test interattivo su WN con Stefano dal Pra'.
