Groupe 1 - Open Data : qui veut des données brutes ?
===

# Prerequis
* Qu'est ce qu'un jeu de données ?
* Une présentation générale du contexte de l'open data
* Présentation des outils : hackmd.io et github.com

# Les questions ?
* Qui sont les usagers ?
* Qui sont les prescripteurs ?
* Quels sont les jeux de données les plus utilisées ?
* Quelle est la nature des producteurs qui produisent le plus en millier d'habitants ?
* Quelles sont les données qui intéressent le plus les data journalistes ?
* Quels sont les jeux de données qui ont le plus de signalements ? de commentaires ?
* Quels sont les jeux de données qui bénéficient le plus de réutilisations ?
* Quels sont les jeux de données qui sont le plus partagés ?
* Quels sont les jeux de données le plus souvent mis à jour ?
* Quels sont les noms de domaines des visiteurs/utilisateurs de data.gouv.fr ?
* On dit que ce sont les administrations qui sont les plus réutilisatrices des données publiques. Est-il possible de le vérifier sur data.gouv.fr ?
* Quels sont les jeux de données les plus recherchés ? Produire une visualisation dans le temps.

# La démarche

## Faire des requêtes sur certains FAI ciblés correspondant à des administrations
Trouver les adresses du FAI qui correspondent à des administrations comme par exemple
- qui se termine .gouv.fr
- qui commence par mairie-NOMDELAVILLE...
Les noms de domaine sont gérés par l'Afnic.
Recherche de la documentation Afnic qui inventorient les noms de domaines réservés pour les administrations.
Cela est mentionné dans le document : https://www.afnic.fr/medias/documents/Cadre_legal/Charte_de_Nommage_Afnic_du_12122016_VF.pdf

Observation des [Logs visiteurs détaillés](http://stats.data.gouv.fr/index.php?module=CoreHome&action=index&idSite=1&period=range&date=previous30#?module=Live&action=indexVisitorLog&idSite=1&period=range&date=previous30)
A la rubrique Noms de domaine soumis à examen préalable page 7
Les extensions que nous retenons sont :
* agglo-nom.extension (agglomération)
* cc-nom.extension (communauté de communes)
* cg-xx.extension(conseil général, cette terminologie n'existe plus mars 2015)
* cr-nom.extension (conseil régional)
* ville-nom.extension (ville)
* .gouv.fr (il est validé par un organisme Service d’Information du Gouvernement (SIG)

Il n'y a pas d'autres extensions de ce type identifiées chez l'Afnic.
Dans la pratique les administrations n'utilisent pas toujours ce type d'extensions pour déposer leurs noms de domaine. Elles utilisent souvent directement le nom de la collectivité. Cela est particulièrement vrai pour les sites des départements puisque depuis mars 2015 ils ont changé de dénomination de conseil général en conseil départemental et qu'aucune extension spécifique n'a été créé. Ainsi presque tous les départements ont des noms de site de type NOMDUDEPARTEMENT.fr
D'autres acteurs concernés par l'open data ont été relevé par une étude du FAI :
* Sdis (Service Départemental d'Incendie et de Secours - les pompiers)
* cm (Chambre des métiers)

Recherche d'une liste plus complète des noms de domaine particulier:
http://www.finley.fr/81-glossaire/165-finley-glossaire-nom-de-domaine
Finlay est une Entreprises de services du numérique (ESN) (acteur privé).

On relève les noms de domaine pour les administrations tels que :
* ac-extension.fr (académie)
* extension.aeroport.fr (géré par l’UCCEGA)
* amb-extension.fr (ambassades)
* extension.assedic.fr (géré par l'UNEDIC)
* ap-extension.fr (assistance publique)
* bm-extension.fr (bibliothèque municipale)
* extension.caf.fr (Caisse d'Allocation Familliale)
* univ-nom.fr ou u-nom.fr (universités)
* extension.canam.fr (Caisses régionales d’assurance maladie des artisans et commerçants)
* port.fr. (ports)
* cerextension.asso.fr (Centres d’économie rurale)
* chu-extension.fr ou chru-extension.fr ou ch-extension.fr (Centres hospitaliers universitaires : ils doivent avoir le format)
* extension.chambagri.fr (Chambres d'agriculture, géré par l’assemblée permanente des chambres d’agriculture
* extension.cci.fr (Chambres de Commerce et de l'Industrie)
* cdt-extension.fr (Comités départementaux du tourisme)
* capeb-extension.fr (Confédération de l’Artisanat et des Petites Entreprises du Bâtiment)
* crt-extension.fr (Comités régionaux du tourisme)
* district-extension.fr (districts)
* extension.educagri.fr (chambre d'agriculture)
* extension.erba-ville.fr (école régionale des beaux-arts)
* extension.fnclcc.fr (Fédération Nationale des Centres de Lutte Contre le Cancer)
* extension-hlm.fr (Habitations à loyers modérés), on peut y trouver des acteurs publics ou privés ou les 2
* extension.huissier-justice.fr (huissier de justice)
* extension.iufm.fr (Instituts Universitaires de Formation des Maîtres)
* iut-extension.fr (Instituts Universitaires de Technologie)
* extension.notaires.fr (notaire)
* ot-extension.fr (Office du tourisme)
* extension.port.fr (géré par l’Union des Ports Autonomes et des Chambres de Commerce et d’Industrie Maritimes)
* extension.prd.fr (Programme de recherche et de développement)
* tech-extension.fr (Technopoles)
* extension.unaf.fr (Union des associations des familles)
* univ-extension.fr (Universités)

# Les résultats


### Top 10 des villes
1 | Mairie-poitiers | 2482
2 |Mairie-marseille 758
3 Mairie-metz 670
4 Ville-montpellier 417
5 Ville-limoges 416
6 Mairie-quimper 245

7 Ville-cannes 224
8 Ville-antibes 174
9 Ville-lemans 171
10 Ville-arles 169

### Top 20 des universités:
1 Univ-paris1 2649
2 Univ-rennes1 2543
3 Univ-nantes 2449
4 Univ-lyon2 1789
5 Univ-lorraine 1767
6 Univ-lyon1 1735
7 Université Paris Descartes 1644
8 Univ-poitiers 1561
9 Univ-paris-diderot 1515
10 Univ-tlse2 1456
11 Univ-brest 1407
12 Univ-lille1 1405
13 Univ-lr 1405
14 Univ-ubs 1237
15 Univ-mlv 1209
16 Univ-angers 1140
17 Univ-reims 1100
18 Univ-pau 1035
19 Univ-fcomte 1011
20 Univ-tlse1 1005

### Top 20 Agglo
1 Montpellier-agglo 1238
2 Agglo-colmar 215
3 Agglo-paysdaix 211
4 Beziers-agglo 182
5 Agglo-plainecentrale94 153
6 Agglo-grandroanne 135
7 Agglo-caen 112
8 Agglo-clermont 101
9 Agglo-pau 99
10 Agglo-belfort 97
11 Agglo-evry 93
12 Stmalo-agglomeration 91
13 Agglo-nevers 85
14 Agglo-valdebievre 78
15 Agglo-brive 74
16 Agglohm 68
17 Agglo-grandrodez 62
18 Agglo-calaisis 57
19 Agglo-boulonnais 55
20 Agglo-choletais 49

# Astuces et documentation du code
Sur la visualisation de données

Fiches pratiques sur toutes les formes de visualisations :
http://datavizcatalogue.com/

Voir [la formation de datactivist](https://github.com/datactivist/IAU-panaroma_dataviz/blob/master/Formation%20dataviz%20IAU.pdf) qui fait un inventaire des différentes possibilités pour faire de la datavisualisation.
Les outils recommandés pour les non développeurs :
- raw : http://rawgraphs.io/
- tableau public : https://public.tableau.com/s/ (supporte bien les gros jeux de données)
- lyra : http://idl.cs.washington.edu/projects/lyra/

Dans les autres outils utiles on a des outils de nettoyage de données :
- http://openrefine.org/
- http://vis.stanford.edu/wrangler/
- https://www.datawrapper.de

Voir quoi est relié à quoi (ou qui). Table2net.
http://tools.medialab.sciences-po.fr/table2net/

Télécharger des données depuis le https://github.com/datactivist/stats_data_gouv/

Cliquer sur data et télécharger le fichier que nous a préparé Joel

Il s'agit des FAI des visiteurs sur la période du début (01 janvier 2014) de la prise en compte des stat de data.gouv.fr au 31 mars 2017 (date de notre atelier).

20140101_20170331_parjour_providers.csv providers

Pour le télécharger il faut positionner le curseur de la souris dessus et prendre la commande :
- Si vous êtes sous Mac
Enregistrer le lien sous si vous êtes sous Mac.
La fenêtre de téléchargement de fichier vous propose d'enrigistrer le fichier sur votre ordinateur.
Ouvrir le fichier avec Excel ou Calc.

- Si vous êtes sous PC
Cliquer sur le lien.
Un nouvel onglet s'ouvre : copier/coller dans un tableur (Excel ou Calc).

Si vous ouvrez le fichier avec Excel, ça peut prendre un peu de temps selon le volume de données.

Toutes les données peuvent être uniquement dans la première colonne. Ce qui arrive souvent pour un fichier CSV.

*Fichier CSV
CSV : coma separated value
Ce n'est pas vraiment un standard.
Par exemple en France, la virgule est utilisée comme séparateur de données décimales.
Le groupe choisi de télécharger le fichier dans Excel.*

## Ouvrir un fichier CSV dans Excel
Sélectionner toutes vos données (la colonne A)
Onglet Données/Menu Convertir
Dans le bas de la fenêtre vous avez la visualisation de l'organisation de vos données.
Cliquer sur Délimité
Cliquer sur Suivant
Cliquer sur Virgule et regarder si la prévisualisation de l'organisation de vos données est bonne. Si ce n'est le cas, tatonner pour trouver optenir la bonne visualisation : des données correctement séparées par des barres verticales.
Une fois le résultat satisfaisant obtenu, cliquer sur suivant et terminer.

# Manipulation à l'aide de R
On importe les données, on compte le nombre de visites par FAI, on a sélectionné dans le label quelques chaines de caractères types de l'administration : gouv, univ, mairie.
Bonne pratique dans R, le code est nourri de commentaires signalé par "#"
En voici le code (mais un code plus complet est plus loin dans la documentation) :
'library(dplyr)
library(stringr)
### importation du fichier provider en csv
ex <- read.csv('providers.csv')
#examen du fichier
head(ex,10)
summary(ex)

### sélection des providers avec une adresse en gouv ou mairie

ville <- ex %>% 
  filter(str_detect(label, "(Ville)|([Mm]airie-)")) %>% 
  group_by(label) %>% 
  summarise(visits = sum(nb_visits))

gouv <- ex %>% 
  filter(str_detect(label, "([Gg]ouv)")) %>% 
  group_by(label) %>% 
  summarise(visits = sum(nb_visits))

univ <- ex %>% 
  filter(str_detect(label, "[Uu]niv")) %>% 
  group_by(label) %>% 
  summarise(visits = sum(nb_visits))'

L'opération marche plus ou moins bien selon les chaines de caractères.
Ex : pour la chaine de caractère cc- on a des bonnes réponses mais quelques erreurs.
On trouve des réponses de meilleure qualité avec Cc-
On a avait le même biais avec cg, et les résultats sont meilleurs avec Cg-.

On ajoute quelques commandes pour comparer les données sur lesquelles on a travaillé, au passage on a élargi notre collecte de données administrations :
En voici le code :
'library(dplyr)
library(stringr)
#importation du fichier provider en csv
ex <- read.csv('providers.csv')
#examen du fichier
head(ex,10)
summary(ex)

### Sélection des providers avec une adresse en gouv ou mairie

ville <- ex %>% 
  filter(str_detect(label, "([Gg]ouv)|([Mm]airie)")) %>% 
  group_by(label) %>% 
  summarise(visits = sum(nb_visits))

gouv <- ex %>% 
  filter(str_detect(label, "([Gg]ouv)")) %>% 
  group_by(label) %>% 
  summarise(visits = sum(nb_visits))

univ <- ex %>% 
  filter(str_detect(label, "[Uu]niv")) %>% 
  group_by(label) %>% 
  summarise(visits = sum(nb_visits))

caf <- ex %>% 
  filter(str_detect(label, ".caf.fr")) %>% 
  group_by(label) %>% 
  summarise(visits = sum(nb_visits))

educagri <- ex %>% 
  filter(str_detect(label, "[Ee]ducagri")) %>% 
  group_by(label) %>% 
  summarise(visits = sum(nb_visits))

educagri

agglo <- ex %>% 
  filter(str_detect(label, "[Aa]gglo")) %>% 
  group_by(label) %>% 
  summarise(visits = sum(nb_visits))

agglo

cc <- ex %>% 
  filter(str_detect(label, "Cc-")) %>% 
  group_by(label) %>% 
  summarise(visits = sum(nb_visits))

cc

cr <- ex %>% 
  filter(str_detect(label, "Cr-")) %>% 
  group_by(label) %>% 
  summarise(visits = sum(nb_visits))

cr %>% summarize(sum(visits))'

cr %>% summarize(sum(visits))
ville %>% summarize(sum(visits))
gouv%>% summarize(sum(visits))
univ%>% summarize(sum(visits))
caf%>% summarize(sum(visits))
agglo%>% summarize(sum(visits))
cc%>% summarize(sum(visits))
educagri%>% summarize(sum(visits))
univ%>% summarize(sum(visits))

df3 <- ex %>% 
  group_by(label) %>% 
  summarise(visits = sum(nb_visits))

summary(ville)
head(ville,10)
ville %>% arrange(-visits)
`
# Etude de la rubrique visiteur du Piwi 
Les FAI sont bien mentionnés mais ne sont pas isolés dans un fichier.

## Remarque sous-rubrique "provenances géographiques" - recherche par FAI
**Anomalie identifiée** : En faisant une recherche sur la période 30/03/2016 - 30/03/2017 (1 an), par "ville" et "mairie", la recherche donne moins de résultats que sur la période 01/01/2017-30/03/2017 (3 mois) : 2 mairies et une ville dans le premier cas, 4 mairies et 11 villes dans le second

# Analyse données FAI sous Excel
Sélection des lignes du 30/03/2016 au 31/03/2017
filtre par mairies (onglet 2) et par villes (onglet 3)

# Jeux de données ouverts
- [Nombre de visiteurs par jour depuis 2014 des URL de data.gouv.fr](https://www.data.gouv.fr/fr/datasets/nombre-de-visiteurs-par-jour-depuis-2014-des-url-de-data-gouv-fr-1/)
-