owned this note
owned this note
Published
Linked with GitHub
# Travaux RMéS
[TOC]
## Applications RMéS
### Bauhaus / RDF
- Ouverture au SSM. Plus synchroniser de choses sur les organismes externes. Et creuser ce qu’il y a dans l’annuaire service public.
- Liens entre les objets (au niveau jeux de données). Histoires de lignages. Quels liens on pourrait faire entre jeux de données. Utilisation de DCAT sur les données administratives. Demande côté data.gouv.fr et data.eu. Explorer formats JSON-LD. Et le principe de moissonnage DCAT.
- Décomposition des concepts. Grammaire simple pour décrire des concepts complexes.
- Poursuivre les travaux d’alignement. Test à faire sur les concepts géographiques
- Documentation des choix effectués.
- Quels services offrir aux utilisateurs pour les faire entrer dans la filière ? (dicos, mais aussi label…)
- Aller au-devant des besoins.
- Voir aussi liens avec plateforme de datascience : que peut-on offrir comme services pour la plateforme de datascience ? (découverte des jeux de données, lignage)
### Colectica / DDI
#### Colectica
- Continuer à échanger régulièrement avec Algenta. Par exemple ajouter la fonctionnalité sur la possibilité d’importer du DDI XML après l’avoir légèrement modifié. ou encore une sélection mulitple de variables à retirer d'un groupe de variables, l'import d'un ressource package (de ressources mutualisées) directement ou par défaut dans l'espace des objets déverouillés de l'utilisateur.
- Quel usage du portail ? Commencer à exploiter les possibilités du portail plutôt que ce soient les producteurs qui fassent leur propre outillage de consultation. Plus généralement quels outils de consultation des métadonnées ? Mettre portail sur Insee.fr. améliorer les possibiltés de recherche permettant une requête elastic search plus floues
- a trois ans la gestion des droits sur les objets sera nécessaire
- Workflow de description des variables par les producteurs : quels outils, quelle organisation. Mais aussi stratégie de description (en partant de l’instanciée, en remontant aux variables représentées et conceptuelles). Voir avec les Danois qui ont fait des modules de saisie DDI. Cette réflexion devrait contribuer à instruire la solution de gestion des variables, est ce que l'on fait une gestion via colectica designer en développant l'accompagnement et les guides, ou est ce que l'on crée un module coté Bauhaus pour créer les objets variables et physicalInstance dans Coletica repository.
- explorer les possibilités de l'outil colectica Workflow pour passer les métadonnées d'un repo de gestion à un repo de publication
- étendre la fonction de rollover actuelle pour traiter les physical instances et les variables instanciées
- maintenir l'identification des besoins avec le comité utilisateurs
- atteindre une complétude du référentiel sur le courant (sur les variables, les listes de codes issus des nomenclatures)
#### DDI
- Import des métadonnées CASD. Intégration des ressources mutualisables (géo, nomenclatures, TCM).
- Voir ce qu’on fait pour PSM (si ça existe encore)
- DDI-L 4.0 : voir comment on passe et quand ? Et passage à RDF. Acquérir de l’expertise sur cette version 4, et sur la sérialisation RDF. Voir ce que permettra Colectica. Et veille aussi sur CDI.
- Dans les objectifs de la DDI Alliance : publication de CDI et DDI4 en 2024.
- Transmission, formation Colectica et DDI.
- Romain (et Thomas) coresponsable du groupe DDI sur les questions et questionnaires : mais trouver une représentation Insee pour la suite. Mais représentation côté RMéS ou côté filière ? Pourra dépendre de choix fait côté filière sur la connaissance de DDI. Ne pas faire trop sortir l’expertise du côté filière pour ne pas perdre la notion de métadonnées actives.
- EDDI : participation à l'organisation de la conférence
- Comité technique (voir qui participera dans le futur). Et plus généralement voir qui participe à quel groupe DDI.
- Training working group
- XKOS : faut-il un représentant Insee ? (maintenant que Franck ne le sera plus)
- Et groupe de travail sur les variables dans un contexte répété dans le temps (pas encore groupe DDI alliance)
- Que veut-on faire sur la cascade de variable ?
- Tâche de maintenir l’expertise : il y a des trucs qu’on peut faire parce qu’on a une certaine expertise. Donc comment conserver la connaissance y compris avec les mobilités.
- Travail sur la qualité des métadonnées DDI : qualité de ce que les producteurs ont saisi (absences de libellés, domaines de représentation contenant les valeurs sentinelles…) pour les producteurs qui ont utilisé Colectica pour remplacer DDS pour faire du papier. Et travail sur les doublons.
## Filières partenaires
### Filière d'enquête
- Comment envisager le travail entre l’équipe métadonnées et l’équipe filière ? POC ACDC (métadonnées de collecte pour protools). Rejoint le sujet de partenariat à construire avec la filière.
### Projets de diffusion
- mettre en place une collaboration plus forte pour progresser sur l'alimentation d'RMéS en fonction des mise a disposition des producteurs
- connexion entre les Bauhaus et Colectica entre opérations, dessin de fichiers pour référencer à un partir d'un objet jdd en RDF la structure dessin de fichiers coté DDI
- consolider les services pour répondre aux besoins de la mad
- finsalisation du module jdd avec la partie dataservices
- lignage et reexution des transformations (ça dépend de jusqu'ou on va et si c'est dans le MVP)
- atteindre une complétude du référentiel sur le courant
### Résil / Données administratives
- Accompagnement Résil. Actuellement description des variables (microdonnées) dans Colectica. Maintenant Dataset (DCAT avec lien sur la structure en DDI) et opérations statistiques (processus Résil). Résil va faire une IHM de consultation du catalogue des jeux de données + découverte des variables en DDI pour présenter son offre du service d'enrichissement. Avec les avancées pour les projets de diffusion, il s'agit de faire de la pédagogie notamment sur les modèles, d'un support à l'usage des API et de documenter.
- Génération du VTL pour contrôler la conformité des données/métadonnées. Poursuite du POC de génération de VTL de contrôle de conformité pour une mise en production.
On ne décrit que ce qui est dans Résil, pas ce qui est en amont. On n’en est pas responsable. Mais des demandes (DSN flash) d’indiquer pour chaque variable de quelle variable d’origine ça provient.
Comment historiser les choix faits pour charger ? Mais impossible de maintenir à jour une documentation des sources externes. Donc on ne documente que ce qui est chargé (donc en aval d’ARC). Donc extension possible : catalogue des sources administratives.
- Faire lien entre données et codes statistiques non signifiants : décrire quels types d’appariements sont possibles ?
Déjà 2500 variables représentées et autant d’instanciées prêtes à passer en production, juste à monter de version de Colectica et de version de DDI (vers 3.3) => Thomas est sur l’affaire.
## Standards internationaux
### Groupes internationaux
- Supporting standard group de l'UNECE : actuellement Franck et Florian. Éric remplace Franck (réunion toutes les six semaines, gouverner les travaux des autres groupes de travail) et préparer programme du modernstat working group
- Besoin d’avoir vu d’ensemble aussi avec HLG-MOS (voir participation côté SSP Lab).
- Chaque année quatre groupes de travail dans le giron du standard working group. Actuellement truc sur les liens entre GSBPM, GSIM, DDI et SDMX (en voie d’achèvement et suivi par Christophe). Révision GSBPM et Gamso. - Relancer les travaux sur la COOS. Et peut-être autre groupe. Et donc d’autres groupes les années prochaines (CSPA, CSDA ou d’autres sujets)
- Communauté des pratiques d'Eurostat sur le Linked open data : quatre groupes de travail, dont représentation Insee dans trois groupes --> Franck, Florian & Christophe Dz.
- Standard Working group Eurostat. Phagocyté par histoires de refonte de Naf et de la CPA. Pas de groupe de travail sur le Sims (ou en tous cas, sans les pays) => Florian
- SDMX working group => Voir qui y va.
- Dagstuhl. Séminaire DDI tous les ans.
- Cosmos ?
- Comité scientifique du CDSP (Thomas). Pas forcément besoin de continuité Insee.
- Maintien d’une communauté Insee sur les standards.
- Veille sur les conférences
### VTL
- Veille VTL (task force lancée en mai 2023). Avec Romain, Florian, Thomas (et Franck). Voir qui continue à représenter l’Insee.
Rôle de Romain (entre expertise des standards et développement de solution logicielle).
- Même problématique sur VTL : implication de l’Insee dans les moteurs (Trevas JS) : qui est maîtrise d’ouvrage de Trevas ?
- Quelle importance de VTL sur le produit « traiter » ?