# Atelier GEOC 17/01/2023 ## Proposition de déroulement Mode Atelier, partage d'expérience Début 10h, Fin 15h * Tour de table des attentes * Aspects généraux sur // * Configuration de galaxy * tools // ## Aspects généraux sur la parallélisation Par défaut, après installation, Galaxy lance les jobs sur la destination locale. Ces jobs peuvent-ils utiliser plusieurs CPU ? Dans database/jobs_directory, il y a les fichiers utilisés par Galaxy pour faire tourner le job. Notamment le fichier galaxy_xxxx.sh qui gère l'environnement du job. Il y a aussi tool_script.sh avec la commande utilisée. Ces fichiers sont éxecutés par bash. Sur meso@lr, ces fichiers sont éxecutés par slurm (car c'est l'ordonnanceur ). Apparaissent dans le fichier galaxy_xxx.sh, des paramétrages #SBATCH. Par exemple on peut voir sur quel compte/projet le job est lancé `#SBATCH --account record` (les heures de calcul sont ponctionnées sur le compte record). Au niveau de certains outils, le formulaire Galaxy a été enrichi par des champs leur permettant de choisir les ressources (compte meso et nb de CPU). Galaxy utilise slurm de manière basique. Par défaut, il lance une commande bash sur un seul noeud (un peu plus d'une vingtaine de noeuds). Le cluster n'est pas utilisé a maximum de ses capacités. Patrick a hacké le code pour pouvoir lancer sur plusieurs noeuds et avoir plus de 30 CPU. Galaxy gère plutôt la parallélisation via les collections. Ensuite on gère une collection (voir tuto GTN). ## Lancer ses jobs sur le cluster meso@lr https://meso-lr.umontpellier.fr/ ### Prérequis Nous avons demandé un compte applicatif "siwaa" sur meso@lr. Galaxy va lancer tous ses jobs avec l'utilisateur siwaa. Par contre, l'utilisateur siwaa peut ponctionner les heures de calcul sur plusieurs comptes (Record, agglob, azodyn ...). Une config Galaxy permet de relier un utiliseur Galaxy à un compte meso@LR. ### Montage Un certain nombre de répertoires doivent être partagés entre le serveur web et le serveur de calcul. Les montages doivent être défini à l'installation en sshfs. ### Organisation des dossiers en fonction des contraintes meso@LR Le job_directory de Galaxy est dans /lustre/siwaa (notre compte applicatif). * Les jobs directories en lecture ecriture sur /lustre aka scratch * La base de données ... Les historiques. Autre contrainte, il faut que les chemins soient identiques pour les chemins de données et de tools. revue de la conf galaxy...pour la configuration des path vers les répertoires sensibles. ### Config galaxy ### Paramétrage du job_conf.xml * Utilisation d'un runner shell * ## Parallélisation Qu'attend-t-on derrière parallélisation ? ## Utilisation des GPU Le CATI Codex a acheté des GPU mis sur France Grille. Comment les utiliser avec Galaxy ? Éric, Virginie et Jean-Claude aimerait bien le tester dans l'année. Patrick pense intéressant de savoir si on saurait le faire. ## PEPI & GEOC Patrick a inséré GEOC dans les PEPIs. Car il milite pour que tous les réseaux (ingénieries, non scientifiques) soient des PEPIs. Il suffit que ce soit renseigné dans une fiche wiki.