# Vite Ma Dose

# Informations Générales

Sources ici : https://github.com/CovidTrackerFr/vitemadose/blob/main/README.md (Demandez à @guillaumerozier en Message privé avec votre pseudo si vous voulez être ajouté).

## Chaînes de discussion
ViteMaDose
- **Conversation Mattermost ici ** - https://mattermost.covidtracker.fr/covidtracker/channels/town-square

CovidTracker
- Migration Jekyll (CovidTracker) : https://t.me/joinchat/qtdnXjlTEqwyYTNk

5 Services de gestion de rendez-vous en ligne Doctolib, Keldoc, Ordoclic, Pandalab et Maiia. On recherche a recuperer les rendez-vous disponibles pour tous les centres pour l'afficher sur https://covidtracker.fr/vitemadose/.

Figma (maquette graphique) de "Vite MA Dose !" web :
https://www.figma.com/file/ISBVZxqhgxylKucAsldoe1/ViteMaDose?node-id=0%3A1

**Table des matières**

- [Répartition des tâches](#Répartition-des-tâches) : si vous cherchez quoi faire :)
- [Principe technique](#Principe-technique) : description du principe technique général
- [Documentation API](#Documentation-API) : récapitulatif des URL de la UI avec l'equivalent API
- [Spécifications](#Specifications) : spécification du format des données consommées par le front

Trello Backend - https://trello.com/invite/b/sKJvPLBH/0a8af06a81b5cc2772142ec4f523ccae/vite-ma-dose-backend

# Répartition des tâches
[Voir les tâches archivées (terminées)...](#Tâches-archivées)

- **🟠 Scrap Pandalab (en cours)**
- *Priorité très haute*
- Objectif : récupérer le prochain RDV dispo dans chaque pharmacie Pandalab
- Statut : todo
- Assignés :
- Epidemik en cours - api non testée encore et 900/3000 pharmacies qui remontent du rdv
- Christopher DQ en cours - attente retour Pandalab pour accès API et autres ressources

- **🟠 Statistiques (en cours)**
- *Priorité haute*
- Objectif : obtenir des statistiques à afficher sur le front. Exporter dans un fichier `stats.json`dans `data/output` sur la branche `data-auto`.
Idées prioritaires de statistiques :
- ✅ (stats.json) Nombre total de centres de vaccination
- ✅ (stats.json) Nombre de centres ayant des disponibilités
- 🟠 (stats_by_date.json & stats_by_date_dep.json) Graphiques des dispo de centres par date (total & par département) -> **ok en back, need intégration front**
Autres idées:
- ✅ Generer un info_centres.json avec toutes les données brutes
- pie avec les URL valides, pas d'URL et invalides (ce qui permettra de nettoyer)
- 🟠 (stats_center_types.json) Pie repartition des plateformes -> **ok en back, need intégration front**
- Pie avec le type (en fonction du nom genre si c’est un cabinet, pharmacie etc.)
- Carte de france avec disponibilités
- 🟠 (stats.json) Carte de france des départements avec repartition des plateformes -> **ok en back, need intégration front**
- Assignés :
- Back : aureliancnx.
- Front : Aymerik ([PR](https://github.com/rozierguillaume/covidtracker-tools/pull/243))

- **🔴 Filtres (todo)**
- *Priorité basse*
- Objectif : filtrer les RDV en fonction de l'égibilité (prof. santé, + 70 ans etc.)
- Statut : todo
- Assignés :

- **🔴 Alerte mail (todo)**
- *Priorité basse*
- Objectif : être alerté par mail d'une nouvelle disponibilité dans son département
- Statut : todo
- Assignés :

# Principe technique

- Un script (`scrape.py`) tourne régulièrement et exporte les données sur le repo GitHub (`data/output/`).
- La liste des départements et centres de vaccination est récupérée via data.gouv.fr (open data).
- Pour chaque département, on récupère les RDV en appelant l'API de différentes plateformes.
- Les résultats sont enregistrés par département dans le repo au format JSON.
- Une GitHub Action exécute le script périodiquement. (GHA est pool-based, donc on ne maîtrise pas absolument la fréquence d'exécution. Les tests indiquent qu'on est sur du 2x par heure en moyenne.)
- Un front lit les données du repo GitHub.
- Le scraping doit récupérer le premier rendez-vous de chaque centre, sans aucune restriction d'éligibilité, sauf : "1ère injection".

# Documentation API

## Doctolib:

**Exemple URL WebUI**

- https://www.doctolib.fr/etablissement-de-prevention/nanterre/cash-nanterre-vaccination-covid19-professionnels-de-sante

**API**

- https://www.doctolib.fr/search_results/162755.json
- https://www.doctolib.fr/availabilities.json?start_date=2021-04-09&visit_motive_ids=2696336&agenda_ids=437408&limit=6
- [WIP] Doctolib nous whiteliste => header spécial à utiliser : `X-Covid-Tracker-Key: <key>` (`<key>` = string aléatoire enregistrée dans les secrets du repo via `DOCTOLIB_API_KEY`, partagée avec Doctolib).

## Keldoc

**Exemple URL WebUI**

- https://www.keldoc.com/cabinet-medical/grenoble-38000/centre-de-vaccination-universite-inter-age-du-dauphine-uiad?category=-1&cabinet=18796&specialty=496
- https://vaccination-covid.keldoc.com/redirect/?dom=cabinet-medical&inst=bain-de-bretagne-35470&user=salle-des-fetes-de-bain-de-bretagne

**API**

- https://www.keldoc.com/api/patients/v2/clinics/2891/specialties/496/cabinets
- https://www.keldoc.com/api/patients/v2/clinics/2891/specialties/496/cabinets/18796/motive_categories
- https://www.keldoc.com/api/patients/v2/clinics/2891/details
- https://www.keldoc.com/api/patients/v2/timetables/89873?from=2021-04-02&to=2021-04-06&agenda_ids%5B%5D=53339&agenda_ids%5B%5D=53338&agenda_ids%5B%5D=53340

## Maiia

**Exemple URL WebUI**

- https://www.maiia.com/medecin-generaliste/92600-asnieres-sur-seine/navaratnam-kalaratnam-?centerId=5f7da6790b568e5a79e782e9

**API**
- Récupérer la liste des centres:
- https://www.maiia.com/api/pat-public/hcd?distanceMax=10000&page=0&speciality.shortName=centre-de-vaccination&isVaccinationPlace=true&type=CENTER&limit=50&page=0
- Lister les raisons de rendez-vous
- https://www.maiia.com/api/pat-public/consultation-reason-hcd?rootCenterId=5f7da6790b568e5a79e782e9&limit=200&page=0
- Lister les disponibilités
- https://www.maiia.com/api/pat-public/availabilities?centerId=5f7da6790b568e5a79e782e9&consultationReasonId=6036421bec607941aac21ef6&from=2021-04-01T22:01:00.000Z&limit=1440&page=0&practitionerId=5f7da6790b568e5a79e782ed&to=2021-04-06T21:59:59.999Z

## Ordoclic

**Exemple URL WebUI**

- https://covidpharma.ordoclic.fr/map/pharmacies/vaccination-covid19
- https://app.ordoclic.fr/app/pharmacie/pharmacie-borderie-clermont-fd

**API**

- Recuperer les URLs de toutes les pharmacies :
- https://api.ordoclic.fr/v1/public/search?page=1&per_page=500&in.isCovidVaccineSupported=true&in.isPublicProfile=true
- Recuperer les champs entityId et medicalStaffId en fonction de l'URL de prise de rdv :
- https://api.ordoclic.fr/v1/public/entities/profile/pharmacie-borderie-clermont-fd
- Recuperer les ID de reason:
- https://api.ordoclic.fr/v1/solar/entities/919a33ad-46a1-4106-a404-12dcedd850ab/reasons
- Les reasons contiennent une propriété 'vaccineInjectionDose':1 pour une première injection et 2 pour une deuxième. Cette propriété n'est pas présente si le motif de réservation n'est pas une vaccination.
- On trouve également un champ 'reasonTypeId' dont la correspondance semble être:
- 3: Vaccination AstraZeneca - Injection 1
- 4: Vaccination AstraZeneca - Injection 2
- 5: Vaccination Pfizer - Injection 1
- 6: Vaccination Pfizer - Injection 2
- 7: Vaccination Moderna - Injection 1
- 8: Vaccination Moderna - Injection 2
- 9: Vaccination Janssen J&J - Injection 1
- Recuperer les dates dispo
- https://api.ordoclic.fr/v1/solar/slots/availableSlots POST '{ "entityId": "919a33ad-46a1-4106-a404-12dcedd850ab", "medicalStaffId": "0aa0ed70-95eb-4e25-8251-5b7cc4283b83", "reasonId": "18b6666f-8a87-4d52-ae54-95824189b7ec", "dateEnd": "2021-04-10T22:00:00.000Z", "dateStart": "2021-04-03T22:00:00.000Z"}'

## Pandalab

Le site check l'IP d'origine (ne fonctionne pas aux Pays-Bas)

**Exemple URL WebUI**
- Liste pharmacies : je n'ai trouvé que les pharmacies par ville pour le moment (accessible depuis la recherche ici : https://masante.pandalab.eu/welcome)
- https://masante.pandalab.eu/medical-team/medical-team-result-pharmacy/new/org/details/70693

**API**
- Recherche des villes par nom : https://diapatient-api.diatelic.net/public/v1/geopc/city/name/{ville}
- Recherche des villes par code postal : https://diapatient-api.diatelic.net/public/v1/geopc/zipcode/all/{zip}
- Recherche par ville/loc. : https://diapatient-api.diatelic.net/public/v1/contact_rpps/search en POST (`{"typeId":"7","longitude":"6.1825","latitude":"48.69079"}}
` typeId = 7 ==> pharmacie)
- Détail d'une pharmacie : https://diapatient-api.diatelic.net/public/v1/appointment/ict/pharmacy/1540016565
- Liste des "raisons" de rdv : https://diapatient-api.diatelic.net/public/v1/appointment/ict/practitioner/2469/reasons (exemple : Première injection – Vaccin covid AstraZeneca)
- Liste des créneaux : https://diapatient-api.diatelic.net/public/v1/appointment/schedule/70693 en POST avec pour body :

## Mapharma

Le site ne propose pas d'annuaire, il faut donc chercher toutes les urls possibles...

**Exemple URL WebUI** 

- https://mapharma.net/67000
- https://mapharma.net/49100-5
les urls sont au format 'https://mapharma.net/{zip}' s'il n'y en a qu'une et 'https://mapharma.net/{zip}-{index}' s'il y en a plusieurs (index commence à 1)
les identifiants de campagne (vaccination covid) et type (1ère injection) sont directement dans le code html de la page, il faut donc l'extraire. On peut aussi récupérer le détail de l'injection ("1ère injection vaccin Astra-Zeneca contre la Covid-19")

**API** 

- Recupérer le planning d'une campagne de vaccination : 
    - https://mapharma.net/api/public/calendar/201/2021-04-09/1
    - https://mapharma.net/api/public/calendar/{campagne}/{date}/{type}
    Le résultat est au format JSON, plutôt bien fait

## Autres resources

* Fichier des centres fourni par le ministère (et mis à jour plusieurs fois par jour) - https://www.data.gouv.fr/fr/datasets/r/5cb21a85-b0b0-4a65-a249-806a040ec372

* Liste des départements : 
  * https://github.com/CovidTrackerFr/vitemadose/blob/main/data/input/departements-france.csv
  * https://raw.githubusercontent.com/CovidTrackerFr/vitemadose/main/data/output/departements.json

* Dépot du frontend : https://github.com/rozierguillaume/covidtracker-tools/tree/main/src/ViteMaDose

# Specifications
## Output

Un fichier JSON par département, nommé `<N° dep>.json` (exemple : `38.json` pour l'Isère), exporté dans le dossier `data/output` avec les champs :

- `version` : 1
- `last_updated` : date de dernière modification des données, YYYY-MM-DD HH:MM'T'Z (format ISO pour les DOM-TOM).
- `centres_disponibles`
    - nom : nom du centre
    - url : url du centre vers la plateforme de réservation
    - prochain_rdv : YYYY-MM-DD HH:MM'T'Z (format ISO pour les DOM-TOM).
    - plateforme : "Doctolib", "Maiia", "Keldoc", "Autre"
- `centres_indisponibles`
    - nom : nom du centre
    - url : url du centre vers la plateforme de réservation
    - plateforme : "Doctolib", "Maiia", "Keldoc", "Autre"

Exemple fictif pour l'Isère, `38.json` :

{
"version": 1,
"last_updated": "2021-04-03 14:16",
"centres_disponibles": [
{
"nom": "CH Grenoble",
"url": "www.truc/toto",
"prochain_rdv": "2021-04-10 10:22",
"plateforme": "Doctolib"
},
{
"nom": "CHU truc",
"url": "www.truc/toto",
"prochain_rdv": "2021-05-18 09:19",
"plateforme": "Doctolib"
}
],

"centres_indisponibles": [
{
"nom": "Stade Grenoble",
"url": "www.truc/toto",
"plateforme": "Maiia"
}
]
}

Raisonnement pour cette structure de données, basée sur le parcours utilisateur :

- L'utilisateur choisit son département, par ex "59 Nord" -> On va regarder dans `59.json`
- On affiche deux listes :
  - RDV dispo, chaque carte doit montrer : prochaine date, nom du centre, lien vers la plateforme pour prendre rdv, nom de la plateforme (pour associer un logo).
  - RDV pas dispo pareil : mais sans prochaine date
- Version : au cas où le schéma du fichier change plus tard.

# Annexes
## Tâches archivées
[Voir les tâches en cours...](#Répartition-des-tâches)
- **✅ Scrap Doctolib (fait)**
    - *Priorité très haute*
    - Objectif : récupérer le prochain RDV dispo dans chque centre de vaccination Doctolib
    - Statut : done
    - Assignés : floby, florimondmanca, dalf ...
    - Historique: [#1](https://gist.github.com/dalf/cadace7536e8255eb231bceb5e60c39c)

- **✅ Mise en production (fait)**
    - *Priorité haute*
    - Objectif : faire tourner les scripts régulièrement (avec Github Actions (GHA) ?)
    - Statut : done
    - Historique PRs: [#1](https://github.com/CovidTrackerFr/vitemadose/pull/1), [#3](https://github.com/CovidTrackerFr/vitemadose/pull/3)

- **✅ Scrap Maiia (fait)**
    - *Priorité haute*
    - Objectif : récupérer le prochain RDV dispo dans chque centre de vaccination Maiia
    - Statut : done ([cf PR](https://github.com/CovidTrackerFr/vitemadose/pull/5))
    - Assignés : kindras, V0lantis, ...

- **✅ Scrap Keldoc (fait)**
    - *Priorité haute*
    - Objectif : récupérer le prochain RDV dispo dans chque centre de vaccination Keldoc
    - Statut : done
    - Assignés : aureliancnx

- **✅ Adaptation du frontend (done)**
    - *Priorité très haute*
    - Objectif : récupérer le prochain RDV dispo dans chque centre de vaccination Maiia + Keldoc + Doctolib
    - Statut : done
    - Assignés : rozierguillaume, Aymerik
- **✅ Scrap Ordoclic (done)**
    - *Priorité haute*
    - Objectif : récupérer le prochain RDV dispo dans chque centre de vaccination Ordoclic
    - Assignés : Epidemik, Maijin, ...
    - Notes: 
        - Un confondateur de ordoclic Thibault Court nous a donné ses coordonnées mail+phone. Il est disponible pour toutes questions techniques. 
        - Seules les pharmacies pour le moment sont gérées correctement le reste ne sont que des tests et donc a recommandé de ne pas intégrer les données non-pharmacie pour éviter les remontés incorrect
        - Le scrape ne devrait s’effectuer que sur les pharmacies et pas sur les individus. Les individus sont normalement rattachés aux Pharmacies. Donc, scraper les deux équivaudra a générer des doublons.
        - Si d’autres entités (autres que pharmacies deviennent disponibles) il nous a indiqué qu’il transmettrait l’info
        - Il a suggéré qu'une mise à jour prochaine du site contiendra une API permettant de récupérer l'information directement sans besoin de scrape/tri et il nous tiendra au jus pour nous filer les infos
        - Il a indiqué qu’il ne voit pas d’inconvénient à intégrer les algo de l’état notamment pour aligner la demande de rdv avec l’éligibilité
        - Il pense que la prochaine étape risque d’être le manque de personne qui souhaite se vacciner (d’ici deux mois) et pense qu’il faudrait réfléchir à ce problème

- **✅ Doctolib liste des centres scraper (done)**
    - *Priorité a determiner*
    - Objectif : Recuperer la liste des centres disponibles sur doctolib pour consolider le csv data.gouv
    - Assignés : aureliancnx
    - Notes: Guillaume a les contacts de Doctolib potentiellement recuperer de l'information sur l'API ou certains acces
            Sascha a creer un script à integrer https://pastebin.com/JfpvPnvw
            -> Script refait
    - Trello : https://trello.com/invite/b/XAtltILp/49dd26098535d1d703eff8afa96110f3/doctolib-liste-des-centres-scraper-en-cours

- **✅ Scrap MaPharma (done)**
    - *Priorité très haute*
    - Objectif : récupérer le prochain RDV dispo dans chaque pharmacie MaPharma