---
# System prepended metadata

title: Suivi site web migale
tags: [' migale', website]

---

---
title: Suivi site web migale
tags: website, migale
description: https://hackmd.io/@migale/website
---

###### tags: `website` `Migale`

Suivi site web migale
===

### :notebook: TODO

- [x] mettre à jour la FAQ
    - [x] python2 / python3
    - [x] @@recentnodes à retirer
    - [x] capture d'écran Filezilla
    - [x] perl
- [x] recenser les références au serveur migale
    - [x] modifier toutes les références à migale -> front
- [x] ajout FAQ sur la migration
- [x] répondre au mail d'info sur le site web Drupal


### :thought_balloon: Matomo


https://informatique-mia.inrae.fr/matomo/

<!-- css -->
{%hackmd ryWWkX_It %}


### Pages


| Page | URL | Commentaires |
| -------- | -------- | -------- |
| [Accueil](https://migale.mathnum.inrae.fr/)     | https://migale.mathnum.inrae.fr/     |  :heavy_check_mark:    |
| [Infrastructure](https://migale.mathnum.inrae.fr/infrastructure) | https://migale.mathnum.inrae.fr/infrastructure|:heavy_check_mark: |
| [Expertise](https://migale.mathnum.inrae.fr/expertise) | https://migale.mathnum.inrae.fr/expertise | :heavy_check_mark:  |
| [Development](https://migale.mathnum.inrae.fr/development) | https://migale.mathnum.inrae.fr/development | :heavy_check_mark: |
| Data analysis | :link: https://analyses.migale.inra.fr/presentation/service-offer/service-offer.html | :heavy_check_mark: 
| [Migale server](https://migale.mathnum.inrae.fr/migale-server) | https://migale.mathnum.inrae.fr/migale-server | :heavy_check_mark: |
| [Computer farm](https://migale.mathnum.inrae.fr/cluster) | https://migale.mathnum.inrae.fr/cluster | :heavy_check_mark: |
| [Galaxy](https://migale.mathnum.inrae.fr/galaxy) | https://migale.mathnum.inrae.fr/galaxy | :heavy_check_mark: 
| [Tools](https://migale.mathnum.inrae.fr/tools) | https://migale.mathnum.inrae.fr/tools | :heavy_check_mark: 
| [Databanks](https://migale.mathnum.inrae.fr/databanks) | https://migale.mathnum.inrae.fr/databanks | :heavy_check_mark: 
| Tutorials | :link: https://tutorials.migale.inrae.fr/ |  :heavy_check_mark: |
| [Trainings](https://migale.mathnum.inrae.fr/trainings) | https://migale.mathnum.inrae.fr/trainings | :heavy_check_mark: |
| [FAQ](https://migale.mathnum.inrae.fr/faq) | https://migale.mathnum.inrae.fr/faq | :heavy_check_mark: |
| [Contact](https://migale.mathnum.inrae.fr/contact) | https://migale.mathnum.inrae.fr/contact | :heavy_check_mark: |
| [Team](https://migale.mathnum.inrae.fr/team) | https://migale.mathnum.inrae.fr/team | :heavy_check_mark: |
| [Quality approach](https://migale.mathnum.inrae.fr/quality-approach) | https://migale.mathnum.inrae.fr/quality-approach| :heavy_check_mark: |
| [Publications](https://migale.mathnum.inrae.fr/publications) | https://migale.mathnum.inrae.fr/publications| :warning: à mettre  à jour |
| [Citation](https://migale.mathnum.inrae.fr/citation) | https://migale.mathnum.inrae.fr/citation | :heavy_check_mark: |
| [Visit us](https://migale.mathnum.inrae.fr/how-to-come) | https://migale.mathnum.inrae.fr/how-to-come| :heavy_check_mark: |
| [SGE](https://migale.mathnum.inrae.fr/sge) | https://migale.mathnum.inrae.fr/sge | :heavy_check_mark: |
| [Privacy policy](https://migale.mathnum.inrae.fr/privacy_policy) | https://migale.mathnum.inrae.fr/privacy_policy| :heavy_check_mark: |
| [Training archives](https://migale.mathnum.inrae.fr/training_archives) | https://migale.mathnum.inrae.fr/training_archives| :heavy_check_mark:|


### Tests des formulaires

- [x] data-analysis
- [x] data-analysis-survey
- [x] training
- [x] account
- [x] resources
- [x] databank
- [x] development
- [x] tool

### Import des publications

Lecture du fichire au format `.bib` : https://genome.jouy.inra.fr/tmp/metrics/publications_migale_current.bib

:::warning
:warning: doit être rempli à la main et une MAJ est nécessaire pour retirer les publis non adéquates
:::

- [x] Cédric
- [x] Olivier
- [ ] Valentin
- [ ] Mahendra
- [x] Sophie
- [ ] Hélène
- [ ] Ba

:::spoiler

```htmlembedded=
<script src="https://ajax.googleapis.com/ajax/libs/jquery/3.2.1/jquery.min.js"></script><script charset="UTF-8" type="text/javascript" src="https://cdn.rawgit.com/pcooksey/bibtex-js/a802616/src/bibtex_js.js"></script><script src="https://maxcdn.bootstrapcdn.com/bootstrap/3.3.5/js/bootstrap.min.js"></script>
<link href="https://maxcdn.bootstrapcdn.com/bootstrap/3.3.5/css/bootstrap.min.css" rel="stylesheet" /><bibtex charset="UTF-8" src="https://genome.jouy.inra.fr/tmp/metrics/publications_migale_current.bib"></bibtex><style>
	    html,body,span,h1 {
	    	font-family: "Times New Roman", Times, serif;
	    	font-size: 17px;
	    }
      .title{color: #4e8f93 !important;}
      .LOUX, .Rué, .Loux, .Mariadassou, .Schbath, .Midoux, .MIDOUX, .Chiapello, .Martin.Véronique, .Martin.Veronique {color:black; text-decoration:underline}
      .doicss{color: #fd995e !important;}
      .doicss:hover{color: #fd995e !important; }
      .urlcss{color: #fd995e !important;}
      .urlcss:hover{color: #fd995e !important; }
	    bibtex { display: none; }
	    .searchbar { margin-left:0px;}
	    #bibtex_errors { margin-top:10px; color: red;}
	    h1.header {margin-left:8px;}
	    h1.YEAR { font-size: 22px; font-weight: bold; display: inline; margin-left:8px; color: #4e8f93 !important;}
      a:focus, a:hover {
        text-decoration: none !important;
      }    
</style>
<div class="container-fluid">
	<div class="searchbar">
   <div style="float:left;">
   <h3 style="margin-top: 20px !important; margin-bottom: 10px !important; color: #4e8f93 !important; padding-bottom: 10px !important;">Migale Publications</h3>
   </div>
		<div style="float:right;">
			<input type="text" class="bibtex_search form-control" id="searchbar" placeholder="Search publications" /></div>
	</div>
</div>
<div class="bibtex_structure">
<hr /><div class="group year" extra="DESC number">
  	  <a href="#top" style="display: inline"></a>
  	  <div style="padding-bottom:10px;"></div>
  	  <div class="sort date" extra="DESC string">
      	<div class="templates"></div>
      </div>
  </div>
</div>
<div id="bibtex_display">
  <div class="bibtex_template" style="display: none;">
    <ul><li>
      <span class="if title">
        <a class="bibtexVar" href="https://dx.doi.org/+DOI+" extra="doi">
            <span class="title">&zwnj;</span>
        </a>
      </span>
      <div class="if author">
             <span class="author" ><span class="von">&zwnj;</span> <span class="first">&zwnj;</span><span class="junior"> </span><span class="last"> &zwnj;</span></span>
      </div>
      <div>
        <span class="if journal"><em><span class="journal">&zwnj;</span></em></span>
      </div>
    </li></ul></div>
</div>
```
:::

### Ressources externes

**Affichage de la charge du cluster**

![](https://hackmd.io/_uploads/S1C9A8MKt.png =x300) ![](https://hackmd.io/_uploads/HyQvC8GtK.png =x100) ![](https://hackmd.io/_uploads/HkNKALGKt.png =x100) 

* https://genome.jouy.inra.fr/tmp/metrics/all_cpu_used.csv
* https://genome.jouy.inra.fr/tmp/metrics/cpu_used.csv
* https://genome.jouy.inra.fr/tmp/metrics/galaxy_cpu_used.csv

:::spoiler

* /usr/local/adm/script/remaining_cpu_scheduler.sh (lancé toutes les minutes depuis le crontab de scheduler)

```bash!
#!/bin/bash

## For sge

export SGE_ROOT=/opt/sge
export SGE_ARCH=lx-amd64
export SGE_CELL=default
export SGE_CLUSTER_NAME=migale6444
export SGE_QMASTER_PORT=6444
export SGE_EXECD_PORT=6445

/bin/cat <(echo "node,cpu_used") <(/opt/sge/bin/lx-amd64/qstat -f | grep "@" | /usr//bin/perl -lane '@a=split("@",$F[0]);$queue=$a[0];$node=$a[1]; @b=split("/",$F[2]); if($F[5] eq ""){print "$node,".$b[1]/$b[2]*100}' | /bin/sort -k1,1) > /projet/web/htdocs/tmp/metrics/all_cpu_used.csv
/opt/sge/bin/lx-amd64/qstat -f -q web.q | grep "@" | /usr/bin/perl -lane '@a=split("@",$F[0]);$queue=$a[0];$node=$a[1]; @b=split("/",$F[2]); if($F[5] eq ""){print $b[1]/$b[2]*100}' | /bin/awk 'NR>1{v+=$1;count++}END{print v/count}' > /projet/web/htdocs/tmp/metrics/galaxy_cpu_used.csv
/opt/sge/bin/lx-amd64/qstat -f | grep "@" | /usr/bin/perl -lane '@a=split("@",$F[0]);$queue=$a[0];$node=$a[1]; @b=split("/",$F[2]); if($F[5] eq ""){print $b[1]/$b[2]*100}' | /bin/awk 'NR>1{v+=$1;count++}END{print v/count}' > /projet/web/htdocs/tmp/metrics/cpu_used.csv

exit

```

:::

<hr>

**Liste des outils**

![](https://hackmd.io/_uploads/rkiIJvMtt.png =x400)

* https://genome.jouy.inra.fr/tmp/metrics/toolscut2.csv

:::spoiler

* /db/tmp/toolscut2.csv (banko)

S'alimente uniquement à la main !


:::

<hr>

**Liste des banques**

![](https://hackmd.io/_uploads/rJGeZPGYt.png =x200) ![](https://hackmd.io/_uploads/S1GeWDGFt.png =x200)


* https://genome.jouy.inra.fr/tmp/metrics/biomaj-status.csv
* https://genome.jouy.inra.fr/tmp/metrics/others.csv

:::spoiler
 * /usr/local/banko/script_crontab/biomaj_databank_list.sh (banko)

```bash
#!/bin/bash --login

#################################
# recup liste des bank maj
# par biomaj pour site migale/databanks
# /usr/local/banko/script_crontab/biomaj_databank_list.sh
#################################

cd /usr/local/banko/VirtualEnv/

source biomaj-3.1.3/bin/activate
cd biomaj-3.1.3/biomaj-3.1.3/

cat <(echo "Name,Type,Release,Update") <(biomaj-cli.py --status | tail -n +4 | grep -v "+" | awk -F"|" '{ split($6,a," "); print $2","$3","$4","a[1]}' | sed "s/ //g" |head -n -1) >  /db/tmp/biomaj-status.csv 

exit 0
```

* /db/tmp/others.csv (banko) 

```bash=
"Avec un editeur.. !! "

Name,Type,Release,Update
gb_bacteria,genome,-,bi-monthly
silva119-1_18S,-,-,2019
silva123_16S,-,-,-
Anopheles_arabiensis,-,-,-
silva123_23S,-,-,-
PhROGs,-,-,-
frogs_databanks,nucleic,3.2,2019-10-10
KEGG_pathways,-,-,-
taxdb,-,-,-
uniprot_prose,-,-,-
NextProt_Human,-,-,-
Metahit_v1,-,-,-
IGC,-,-,-
capra_hircus_ncbi,-,-,-
cyano_nr70,-,-,-
Metahit_v2,-,-,-
Metahit_v3,-,-,-
gb_organelle,-,-,-
COG,-,-,-
mtfs,-,-,-
proteinatlas,-,-,-
Phytovirus,genome,curent,each month
bos_taurus_unigene,transcriptome,101,"http://ftp.ebi.ac.uk/pub/databases/Unigene/README.txt"
canis_familiaris_unigene,transcriptome,25,"http://ftp.ebi.ac.uk/pub/databases/Unigene/README.txt"
homo_sapiens_unigene,transcriptome,236,"http://ftp.ebi.ac.uk/pub/databases/Unigene/README.txt"
mus_musculus_unigene,transcriptome,194,"http://ftp.ebi.ac.uk/pub/databases/Unigene/README.txt"
rattus_norvegicus_unigene,transcriptome,195,"http://ftp.ebi.ac.uk/pub/databases/Unigene/README.txt"
sus_scrofa_unigene,transcriptome,42,"http://ftp.ebi.ac.uk/pub/databases/Unigene/README.txt"
bos_taurus_ncbi,genome,2018-5-14,2020-03-27
mus_musculus_bowtie,-,N/A,2018-02-08
miRBase,-,2014-6-26,2017-10-26

```

:::

<hr>

**Liste des projets de développement**


![](https://hackmd.io/_uploads/rkrSZvztF.png =x300)

* https://genome.jouy.inra.fr/tmp/metrics/dev_list.tsv

<hr>

**Caractéristiques des noeuds et des queues du cluster**

![](https://hackmd.io/_uploads/H1aAZwGYY.png =400x) ![](https://hackmd.io/_uploads/SJ6AWPzYF.png =300x)

* https://genome.jouy.inra.fr/tmp/metrics/queues.tsv
* https://genome.jouy.inra.fr/tmp/metrics/nodes.csv

:::spoiler

* /usr/local/adm/script/queues_scheduler.sh (lancé 1 fois / semaine depuis le crontab de scheduler)

```bash!
#!/bin/bash
## For sge

export SGE_ROOT=/opt/sge
export SGE_ARCH=lx-amd64
export SGE_CELL=default
export SGE_CLUSTER_NAME=migale6444
export SGE_QMASTER_PORT=6444
export SGE_EXECD_PORT=6445

rm -f /projet/web/htdocs/tmp/metrics/queues.tsv

function join_by { local IFS="$1"; shift; echo "$*"; } ; cat <(echo -e "Queue\tLimit (hours)\tNodes") <(for i in $(qconf -sql) ; do limit=$(qconf -sq $i | grep s_rt | awk '{print $2}' | cut -d ':' -f 1) ; nodes=$(qconf -sq $i |grep hostlist | perl -lane '$_=~/hostlist\s+(.*)/;print $1' | sed "s/ /,/g" |  sed 's/,\\/ /g' ) ; declare -a my_array=() ; IFS=',' read -ra NAMES <<< "$nodes" ; for g in "${NAMES[@]}"; do if [[ $g = \@* ]] ; then w=$(qconf -shgrp $g | grep hostlist | cut -d ' ' -f 2-); my_array=(${my_array[@]} $w) ; else my_array=(${my_array[@]} $g) ; fi ; done ; IFS=$'\n' sorted=($(sort -n <<<"${my_array[*]}")) ; unset IFS; z=$(join_by , "${sorted[@]}") ; echo -e "$i\t$limit\t$z" ; done) | grep -v "web.q\|formation.q\|test.q" | sed "s/INFINITY/No limit/" >> /projet/web/htdocs/tmp/metrics/queues.tsv

```

* /usr/local/adm/script/nodes_scheduler.sh (lancé 1 fois / semaine depuis le crontab de scheduler)

```bash=
cat <(echo "Node,CPU,MEMORY (G)") <(qhost | tail -n +4 - |perl -lane 'print "$F[0],$F[2],$F[7]"' | sed "s/G//g" | grep -v "d2r2\|banko3\|migale") > /projet/web/htdocs/tmp/metrics/nodes.csv

```



:::






























### Points avant migration

:::spoiler


- [x] il faut des bandeaux en haut et en bas (sinon les liens ne sont pas visibles)
- [x] l'image en transparent est pas top, il faudrait pouvoir séparer les sections (que l'image soit juste sur le 1er bloc de présentation)
- [x] il faudrait changer la couleur des liens sur les 9 items (migale server...)
- [x] les titres en vert sur la page principale
- [x] remettre les icones font-awesome plutôt que des images
- [x] enlever fond gris des blocs sur les côtés
- [x] la mise en page des items centraux (bordure...)
- [x] il manque le footer quand on est sur les pages annexes
- [x] le bandeau du haut est toujours visible après scroll vers le bas
- [x] les listes déroulantes sans transparence seraient mieux
- [x] la page des formations https://migale.mathnum.inrae.fr/trainings y'a un peu de travail aussi ;)
- [x] enlever `border-top` du footer
- [x] enlever les caractères `">` dans le bloc des métriques
- [x] augmenter la police des textes des menus
- [x] remettre en forme les articles (sumitted by, position, background...)
- [x] changer le fond et la bordure des pages annexes
- [x] reformater les thumbnais de la page Trainings
- [x] remettre la police du site précédent 
- [x] il manque la page https://migale.inrae.fr/training_archives ?
- [x] mise en forme des formulaires
- [x] la css des images à modifier (ombre)
- [x] manque le lien du logo vers page d'accueil (ok pour les non loggés ! caché quand authentifié)
- [x] à voir effectivement si on peut changer last publications par le fil twitter
- [x] les tableaux n'ont pas la css de l'autre site (vert 1 élément sur 2...) 
- [x] surlignage des menus déroulants en orange 
- [x] refaire une passe sur la page training_archives
- [x] dans training archives -> pointe vers l'ancien site
- [x] dans citation "tell us" -> pointe vers l'ancien site
- [x] page accueil les titres doivent etre plus gros que le texte
- [x] page acceuil diminuer taille texte sous icon 
- [x] check tout le site sans etre logger et avec chrome 
    - [x] dans les FAQ mettre le texte en vert
    - [x] les tableaux n'ont pas la css de l'autre site (vert 1 élément sur 2...) 
    - [x] trainings archives revoir 2020
- [x] il doit manquer les liens vers Legal Notices | GCM | Cookie Management
- [x] cookies management
- [x] Matomo 
> [name=vero-migale] 02/12/ 16H00 - Revoir les images pour 
>- [x] Tranings
>- [x] Visit us
>- [x] Databanks (biomaj)
>- [x] Quality (lrqa)

:::

### Après migration 

:::spoiler


> [name=vero-migale] 07/12/ 10H00 
>- [x] ask-data-analysis lien mort "here" 
>- [x] cookies lien mort "Ghostery" merci à Chantal
>- [x] titres en vert sur page accueil
>- [ ] formation liens des plaquettes très variables !
>- [ ] tools tableau largeur non centrée si on demande à voir 100 lignes 
>- [ ] refaire une passe "log/non log"
 
:::



{%hackmd r1T7KyvLY %}
