--- title: Suivi site web migale tags: website, migale description: https://hackmd.io/@migale/website --- ###### tags: `website` `Migale` Suivi site web migale === ### :notebook: TODO - [x] mettre à jour la FAQ - [x] python2 / python3 - [x] @@recentnodes à retirer - [x] capture d'écran Filezilla - [x] perl - [x] recenser les références au serveur migale - [x] modifier toutes les références à migale -> front - [x] ajout FAQ sur la migration - [x] répondre au mail d'info sur le site web Drupal ### :thought_balloon: Matomo https://informatique-mia.inrae.fr/matomo/ <!-- css --> {%hackmd ryWWkX_It %} ### Pages | Page | URL | Commentaires | | -------- | -------- | -------- | | [Accueil](https://migale.mathnum.inrae.fr/) | https://migale.mathnum.inrae.fr/ | :heavy_check_mark: | | [Infrastructure](https://migale.mathnum.inrae.fr/infrastructure) | https://migale.mathnum.inrae.fr/infrastructure|:heavy_check_mark: | | [Expertise](https://migale.mathnum.inrae.fr/expertise) | https://migale.mathnum.inrae.fr/expertise | :heavy_check_mark: | | [Development](https://migale.mathnum.inrae.fr/development) | https://migale.mathnum.inrae.fr/development | :heavy_check_mark: | | Data analysis | :link: https://analyses.migale.inra.fr/presentation/service-offer/service-offer.html | :heavy_check_mark: | [Migale server](https://migale.mathnum.inrae.fr/migale-server) | https://migale.mathnum.inrae.fr/migale-server | :heavy_check_mark: | | [Computer farm](https://migale.mathnum.inrae.fr/cluster) | https://migale.mathnum.inrae.fr/cluster | :heavy_check_mark: | | [Galaxy](https://migale.mathnum.inrae.fr/galaxy) | https://migale.mathnum.inrae.fr/galaxy | :heavy_check_mark: | [Tools](https://migale.mathnum.inrae.fr/tools) | https://migale.mathnum.inrae.fr/tools | :heavy_check_mark: | [Databanks](https://migale.mathnum.inrae.fr/databanks) | https://migale.mathnum.inrae.fr/databanks | :heavy_check_mark: | Tutorials | :link: https://tutorials.migale.inrae.fr/ | :heavy_check_mark: | | [Trainings](https://migale.mathnum.inrae.fr/trainings) | https://migale.mathnum.inrae.fr/trainings | :heavy_check_mark: | | [FAQ](https://migale.mathnum.inrae.fr/faq) | https://migale.mathnum.inrae.fr/faq | :heavy_check_mark: | | [Contact](https://migale.mathnum.inrae.fr/contact) | https://migale.mathnum.inrae.fr/contact | :heavy_check_mark: | | [Team](https://migale.mathnum.inrae.fr/team) | https://migale.mathnum.inrae.fr/team | :heavy_check_mark: | | [Quality approach](https://migale.mathnum.inrae.fr/quality-approach) | https://migale.mathnum.inrae.fr/quality-approach| :heavy_check_mark: | | [Publications](https://migale.mathnum.inrae.fr/publications) | https://migale.mathnum.inrae.fr/publications| :warning: à mettre  à jour | | [Citation](https://migale.mathnum.inrae.fr/citation) | https://migale.mathnum.inrae.fr/citation | :heavy_check_mark: | | [Visit us](https://migale.mathnum.inrae.fr/how-to-come) | https://migale.mathnum.inrae.fr/how-to-come| :heavy_check_mark: | | [SGE](https://migale.mathnum.inrae.fr/sge) | https://migale.mathnum.inrae.fr/sge | :heavy_check_mark: | | [Privacy policy](https://migale.mathnum.inrae.fr/privacy_policy) | https://migale.mathnum.inrae.fr/privacy_policy| :heavy_check_mark: | | [Training archives](https://migale.mathnum.inrae.fr/training_archives) | https://migale.mathnum.inrae.fr/training_archives| :heavy_check_mark:| ### Tests des formulaires - [x] data-analysis - [x] data-analysis-survey - [x] training - [x] account - [x] resources - [x] databank - [x] development - [x] tool ### Import des publications Lecture du fichire au format `.bib` : https://genome.jouy.inra.fr/tmp/metrics/publications_migale_current.bib :::warning :warning: doit être rempli à la main et une MAJ est nécessaire pour retirer les publis non adéquates ::: - [x] Cédric - [x] Olivier - [ ] Valentin - [ ] Mahendra - [x] Sophie - [ ] Hélène - [ ] Ba :::spoiler ```htmlembedded= <script src="https://ajax.googleapis.com/ajax/libs/jquery/3.2.1/jquery.min.js"></script><script charset="UTF-8" type="text/javascript" src="https://cdn.rawgit.com/pcooksey/bibtex-js/a802616/src/bibtex_js.js"></script><script src="https://maxcdn.bootstrapcdn.com/bootstrap/3.3.5/js/bootstrap.min.js"></script> <link href="https://maxcdn.bootstrapcdn.com/bootstrap/3.3.5/css/bootstrap.min.css" rel="stylesheet" /><bibtex charset="UTF-8" src="https://genome.jouy.inra.fr/tmp/metrics/publications_migale_current.bib"></bibtex><style> html,body,span,h1 { font-family: "Times New Roman", Times, serif; font-size: 17px; } .title{color: #4e8f93 !important;} .LOUX, .Rué, .Loux, .Mariadassou, .Schbath, .Midoux, .MIDOUX, .Chiapello, .Martin.Véronique, .Martin.Veronique {color:black; text-decoration:underline} .doicss{color: #fd995e !important;} .doicss:hover{color: #fd995e !important; } .urlcss{color: #fd995e !important;} .urlcss:hover{color: #fd995e !important; } bibtex { display: none; } .searchbar { margin-left:0px;} #bibtex_errors { margin-top:10px; color: red;} h1.header {margin-left:8px;} h1.YEAR { font-size: 22px; font-weight: bold; display: inline; margin-left:8px; color: #4e8f93 !important;} a:focus, a:hover { text-decoration: none !important; } </style> <div class="container-fluid"> <div class="searchbar"> <div style="float:left;"> <h3 style="margin-top: 20px !important; margin-bottom: 10px !important; color: #4e8f93 !important; padding-bottom: 10px !important;">Migale Publications</h3> </div> <div style="float:right;"> <input type="text" class="bibtex_search form-control" id="searchbar" placeholder="Search publications" /></div> </div> </div> <div class="bibtex_structure"> <hr /><div class="group year" extra="DESC number"> <a href="#top" style="display: inline"></a> <div style="padding-bottom:10px;"></div> <div class="sort date" extra="DESC string"> <div class="templates"></div> </div> </div> </div> <div id="bibtex_display"> <div class="bibtex_template" style="display: none;"> <ul><li> <span class="if title"> <a class="bibtexVar" href="https://dx.doi.org/+DOI+" extra="doi"> <span class="title">&zwnj;</span> </a> </span> <div class="if author"> <span class="author" ><span class="von">&zwnj;</span> <span class="first">&zwnj;</span><span class="junior"> </span><span class="last"> &zwnj;</span></span> </div> <div> <span class="if journal"><em><span class="journal">&zwnj;</span></em></span> </div> </li></ul></div> </div> ``` ::: ### Ressources externes **Affichage de la charge du cluster** ![](https://hackmd.io/_uploads/S1C9A8MKt.png =x300) ![](https://hackmd.io/_uploads/HyQvC8GtK.png =x100) ![](https://hackmd.io/_uploads/HkNKALGKt.png =x100) * https://genome.jouy.inra.fr/tmp/metrics/all_cpu_used.csv * https://genome.jouy.inra.fr/tmp/metrics/cpu_used.csv * https://genome.jouy.inra.fr/tmp/metrics/galaxy_cpu_used.csv :::spoiler * /usr/local/adm/script/remaining_cpu_scheduler.sh (lancé toutes les minutes depuis le crontab de scheduler) ```bash! #!/bin/bash ## For sge export SGE_ROOT=/opt/sge export SGE_ARCH=lx-amd64 export SGE_CELL=default export SGE_CLUSTER_NAME=migale6444 export SGE_QMASTER_PORT=6444 export SGE_EXECD_PORT=6445 /bin/cat <(echo "node,cpu_used") <(/opt/sge/bin/lx-amd64/qstat -f | grep "@" | /usr//bin/perl -lane '@a=split("@",$F[0]);$queue=$a[0];$node=$a[1]; @b=split("/",$F[2]); if($F[5] eq ""){print "$node,".$b[1]/$b[2]*100}' | /bin/sort -k1,1) > /projet/web/htdocs/tmp/metrics/all_cpu_used.csv /opt/sge/bin/lx-amd64/qstat -f -q web.q | grep "@" | /usr/bin/perl -lane '@a=split("@",$F[0]);$queue=$a[0];$node=$a[1]; @b=split("/",$F[2]); if($F[5] eq ""){print $b[1]/$b[2]*100}' | /bin/awk 'NR>1{v+=$1;count++}END{print v/count}' > /projet/web/htdocs/tmp/metrics/galaxy_cpu_used.csv /opt/sge/bin/lx-amd64/qstat -f | grep "@" | /usr/bin/perl -lane '@a=split("@",$F[0]);$queue=$a[0];$node=$a[1]; @b=split("/",$F[2]); if($F[5] eq ""){print $b[1]/$b[2]*100}' | /bin/awk 'NR>1{v+=$1;count++}END{print v/count}' > /projet/web/htdocs/tmp/metrics/cpu_used.csv exit ``` ::: <hr> **Liste des outils** ![](https://hackmd.io/_uploads/rkiIJvMtt.png =x400) * https://genome.jouy.inra.fr/tmp/metrics/toolscut2.csv :::spoiler * /db/tmp/toolscut2.csv (banko) S'alimente uniquement à la main ! ::: <hr> **Liste des banques** ![](https://hackmd.io/_uploads/rJGeZPGYt.png =x200) ![](https://hackmd.io/_uploads/S1GeWDGFt.png =x200) * https://genome.jouy.inra.fr/tmp/metrics/biomaj-status.csv * https://genome.jouy.inra.fr/tmp/metrics/others.csv :::spoiler * /usr/local/banko/script_crontab/biomaj_databank_list.sh (banko) ```bash #!/bin/bash --login ################################# # recup liste des bank maj # par biomaj pour site migale/databanks # /usr/local/banko/script_crontab/biomaj_databank_list.sh ################################# cd /usr/local/banko/VirtualEnv/ source biomaj-3.1.3/bin/activate cd biomaj-3.1.3/biomaj-3.1.3/ cat <(echo "Name,Type,Release,Update") <(biomaj-cli.py --status | tail -n +4 | grep -v "+" | awk -F"|" '{ split($6,a," "); print $2","$3","$4","a[1]}' | sed "s/ //g" |head -n -1) > /db/tmp/biomaj-status.csv exit 0 ``` * /db/tmp/others.csv (banko) ```bash= "Avec un editeur.. !! " Name,Type,Release,Update gb_bacteria,genome,-,bi-monthly silva119-1_18S,-,-,2019 silva123_16S,-,-,- Anopheles_arabiensis,-,-,- silva123_23S,-,-,- PhROGs,-,-,- frogs_databanks,nucleic,3.2,2019-10-10 KEGG_pathways,-,-,- taxdb,-,-,- uniprot_prose,-,-,- NextProt_Human,-,-,- Metahit_v1,-,-,- IGC,-,-,- capra_hircus_ncbi,-,-,- cyano_nr70,-,-,- Metahit_v2,-,-,- Metahit_v3,-,-,- gb_organelle,-,-,- COG,-,-,- mtfs,-,-,- proteinatlas,-,-,- Phytovirus,genome,curent,each month bos_taurus_unigene,transcriptome,101,"http://ftp.ebi.ac.uk/pub/databases/Unigene/README.txt" canis_familiaris_unigene,transcriptome,25,"http://ftp.ebi.ac.uk/pub/databases/Unigene/README.txt" homo_sapiens_unigene,transcriptome,236,"http://ftp.ebi.ac.uk/pub/databases/Unigene/README.txt" mus_musculus_unigene,transcriptome,194,"http://ftp.ebi.ac.uk/pub/databases/Unigene/README.txt" rattus_norvegicus_unigene,transcriptome,195,"http://ftp.ebi.ac.uk/pub/databases/Unigene/README.txt" sus_scrofa_unigene,transcriptome,42,"http://ftp.ebi.ac.uk/pub/databases/Unigene/README.txt" bos_taurus_ncbi,genome,2018-5-14,2020-03-27 mus_musculus_bowtie,-,N/A,2018-02-08 miRBase,-,2014-6-26,2017-10-26 ``` ::: <hr> **Liste des projets de développement** ![](https://hackmd.io/_uploads/rkrSZvztF.png =x300) * https://genome.jouy.inra.fr/tmp/metrics/dev_list.tsv <hr> **Caractéristiques des noeuds et des queues du cluster** ![](https://hackmd.io/_uploads/H1aAZwGYY.png =400x) ![](https://hackmd.io/_uploads/SJ6AWPzYF.png =300x) * https://genome.jouy.inra.fr/tmp/metrics/queues.tsv * https://genome.jouy.inra.fr/tmp/metrics/nodes.csv :::spoiler * /usr/local/adm/script/queues_scheduler.sh (lancé 1 fois / semaine depuis le crontab de scheduler) ```bash! #!/bin/bash ## For sge export SGE_ROOT=/opt/sge export SGE_ARCH=lx-amd64 export SGE_CELL=default export SGE_CLUSTER_NAME=migale6444 export SGE_QMASTER_PORT=6444 export SGE_EXECD_PORT=6445 rm -f /projet/web/htdocs/tmp/metrics/queues.tsv function join_by { local IFS="$1"; shift; echo "$*"; } ; cat <(echo -e "Queue\tLimit (hours)\tNodes") <(for i in $(qconf -sql) ; do limit=$(qconf -sq $i | grep s_rt | awk '{print $2}' | cut -d ':' -f 1) ; nodes=$(qconf -sq $i |grep hostlist | perl -lane '$_=~/hostlist\s+(.*)/;print $1' | sed "s/ /,/g" | sed 's/,\\/ /g' ) ; declare -a my_array=() ; IFS=',' read -ra NAMES <<< "$nodes" ; for g in "${NAMES[@]}"; do if [[ $g = \@* ]] ; then w=$(qconf -shgrp $g | grep hostlist | cut -d ' ' -f 2-); my_array=(${my_array[@]} $w) ; else my_array=(${my_array[@]} $g) ; fi ; done ; IFS=$'\n' sorted=($(sort -n <<<"${my_array[*]}")) ; unset IFS; z=$(join_by , "${sorted[@]}") ; echo -e "$i\t$limit\t$z" ; done) | grep -v "web.q\|formation.q\|test.q" | sed "s/INFINITY/No limit/" >> /projet/web/htdocs/tmp/metrics/queues.tsv ``` * /usr/local/adm/script/nodes_scheduler.sh (lancé 1 fois / semaine depuis le crontab de scheduler) ```bash= cat <(echo "Node,CPU,MEMORY (G)") <(qhost | tail -n +4 - |perl -lane 'print "$F[0],$F[2],$F[7]"' | sed "s/G//g" | grep -v "d2r2\|banko3\|migale") > /projet/web/htdocs/tmp/metrics/nodes.csv ``` ::: ### Points avant migration :::spoiler - [x] il faut des bandeaux en haut et en bas (sinon les liens ne sont pas visibles) - [x] l'image en transparent est pas top, il faudrait pouvoir séparer les sections (que l'image soit juste sur le 1er bloc de présentation) - [x] il faudrait changer la couleur des liens sur les 9 items (migale server...) - [x] les titres en vert sur la page principale - [x] remettre les icones font-awesome plutôt que des images - [x] enlever fond gris des blocs sur les côtés - [x] la mise en page des items centraux (bordure...) - [x] il manque le footer quand on est sur les pages annexes - [x] le bandeau du haut est toujours visible après scroll vers le bas - [x] les listes déroulantes sans transparence seraient mieux - [x] la page des formations https://migale.mathnum.inrae.fr/trainings y'a un peu de travail aussi ;) - [x] enlever `border-top` du footer - [x] enlever les caractères `">` dans le bloc des métriques - [x] augmenter la police des textes des menus - [x] remettre en forme les articles (sumitted by, position, background...) - [x] changer le fond et la bordure des pages annexes - [x] reformater les thumbnais de la page Trainings - [x] remettre la police du site précédent - [x] il manque la page https://migale.inrae.fr/training_archives ? - [x] mise en forme des formulaires - [x] la css des images à modifier (ombre) - [x] manque le lien du logo vers page d'accueil (ok pour les non loggés ! caché quand authentifié) - [x] à voir effectivement si on peut changer last publications par le fil twitter - [x] les tableaux n'ont pas la css de l'autre site (vert 1 élément sur 2...) - [x] surlignage des menus déroulants en orange - [x] refaire une passe sur la page training_archives - [x] dans training archives -> pointe vers l'ancien site - [x] dans citation "tell us" -> pointe vers l'ancien site - [x] page accueil les titres doivent etre plus gros que le texte - [x] page acceuil diminuer taille texte sous icon - [x] check tout le site sans etre logger et avec chrome - [x] dans les FAQ mettre le texte en vert - [x] les tableaux n'ont pas la css de l'autre site (vert 1 élément sur 2...) - [x] trainings archives revoir 2020 - [x] il doit manquer les liens vers Legal Notices | GCM | Cookie Management - [x] cookies management - [x] Matomo > [name=vero-migale] 02/12/ 16H00 - Revoir les images pour >- [x] Tranings >- [x] Visit us >- [x] Databanks (biomaj) >- [x] Quality (lrqa) ::: ### Après migration :::spoiler > [name=vero-migale] 07/12/ 10H00 >- [x] ask-data-analysis lien mort "here" >- [x] cookies lien mort "Ghostery" merci à Chantal >- [x] titres en vert sur page accueil >- [ ] formation liens des plaquettes très variables ! >- [ ] tools tableau largeur non centrée si on demande à voir 100 lignes >- [ ] refaire une passe "log/non log" ::: {%hackmd r1T7KyvLY %}