Try   HackMD

Contexte

Avec l'update de la version v5 de frictionless-py, la structure du rapport de validation généré par frictionless s'en voit modifiée :
Certains attributs du rapport de validation ne sont plus inclus dans les metadata et ne sont plus reportés dans la représentation sous forme de dictionnaire du rapport de validation.

Cela implique une modification de la structure du rapport de validation json retourné par l'API de Validata.
La structure du rapport de validation résultante sur l'interface utilisateur de Validata n'est quant à elle pas impactée.

Modification des metadata du rapport de validation engendrée par la v5 de frictionless

Les modifications portent sur les points suivants :

Metadata du rapport de validation

Suppression de certaines propriétés dans les metadata

  • report.date correspondant à la date-time d'édition du rapport de validation par frictionless,
  • report.time correspondant au temps mis par frictionless pour exécuter la validataion (remplacée par report.stats.["seconds"]),
  • report.version correspondant à la version utilisée par frictionless

Nouvelles propriétés introduites dans les metadata

  • report.warnings correspondant à la liste des 'warnings' levés pendant la validation des données

Metadatas statistiques du rapport de validation report["stats"]

Rajout de nouvelles propriétés statistiques :

  • report.stats["seconds"], correspondant au temps de validation en secondes mis par frictionles-py
  • report.stats["warnings"], correspondant au nombre de 'warnings' levés pendant la validation des données

Metadatas relatives à chaque tâche du rapport de validation:

Pour chaque tâche task = report["tasks"][i],

  • Suppression de certaines propriétés :
    • task.partial pour indiquer si la validation est partielle (cette notion n'est pas plus documentée dans frictionless)
    • task.resource correspondant aux metadatas de l'objet frictionless Resource utilisé pour la validation, elle inclut les metadatas suivantes :
      • data,
      • format,
      • hashing,
      • layout,
      • name,
      • profile,
      • schema,
      • scheme,
      • stats
    • task.scope correspondant à la portée de la validation (erreurs et customs-checks pris en charge dans la validation)
    • task.time correspondant au temps d'exécution de la tâche en secondes mis par frictionles-py
  • Nouvelles propriétés introduites :
    • task.name correspondant à un nom court utilisable par url
    • task.place correspondant à la l'emplacement du fichier
    • task.type précise si la validation porte sur des données tabulaires
  • Propriétés renommées :
    • task["structure_warnings"] est remplacée par task.warning
  • task.stats rajoute de nouvelles infos statistiques :
    • task.stats["fields"] correspondant au nombre de champs
    • task.stats["rows"] correspondant au nombre de ligne
    • task.stats["seconds"] correspondant au temps d'exécution de la tâche en secondes mis par frictionless
    • task.stats.["warnings"], correspondant au nombre 'warnings' levés pendant l'exécution de la tâche par frictionless

Metadatas relatives aux erreurs des tâches du rapport de validation :

Pour chaque erreurs reportées dans chacune des tâches error = report.tasks[i].errors[i]":

  • la propriétéerror.code est remplacée par error.type

Conclusion

Lors des travaux réalisés sur l'update de la v5 de frictionless, le contenu du rapport de validation retourné par Validata a été adapté pour assurer une rétrocompatibilité et intégrer les metadatas qui existaient encore dans la version v4.38.0 de frictionless utiliée auparavant par Validata.

Last changed by 
 
multi
multi.coop
0
147

Read more

Entretien individuel

o

Apr 23, 2024
Table Schema Metadata Properties v2

In 2019, we introduced a pattern for schema metadata properties, to be able to describe its name and description for example. This helps users to understand schemas and increase their sharing and reuse, for example with a cataloging use case.

Apr 4, 2024
Note PR Evolution Table Schema

Le besoin exprimé dans cette PR est de pouvoir traduire dans un schéma de données le fait que deux champs peuvent être mis en relation (du point de vue modèle de données relationnels) (soit de type one-to-one, soit one-to-many soit many-to-many), pour pouvoir vérifier leur relation par un outil de validation.

Jan 25, 2024
data_canteen

|Declared Data → Applicant → Email|chaîne de caractères||Declared Data → Applicant → Name|chaîne de caractères||Declared Data → Canteen → Central Producer Siret|nombre entier||Declared Data → Canteen → City Insee Code|nombre entier||Declared Data → Canteen → Daily Meal Count|nombre entier||Declared Data → Canteen → Economic Model|chaîne de caractères||Declared Data → Canteen → Management Type|chaîne de caractères||Declared Data → Canteen → Name|chaîne de caractères||Declared Data → Canteen → Production Type|chaîne de caractères||Declared Data → Central Kitchen Siret|nombre entier||Declared Data → Satellite Canteens Count|nombre entier||Declared Data → Teledeclaration → Communicates On Food Plan|booléen||Declared Data → Teledeclaration → Communication Frequency|chaîne de caractères||Declared Data → Teledeclaration → Communication Support URL|chaînes de caractères||Declared Data → Teledeclaration → Cooking Plastic Substituted|booléen||Declared Data → Teledeclaration → Creation Date|date et heure||Declared Data → Teledeclaration → Diagnostic Type|chaîne de caractères||Declared Data → Teledeclaration → Donation Food Type|chaîne de caractères||Declared Data → Teledeclaration → Donation Quantity|nombre réel||Declared Data → Teledeclaration → Has Donation Agreement|booléen||Declared Data → Teledeclaration → Has Waste Diagnostic|booléen||Declared Data → Teledeclaration → Has Waste Measures|booléen||Declared Data → Teledeclaration → Plastic Tableware Substituted|booléen||Declared Data → Teledeclaration → Served Leftovers|chaînes de caractères||Declared Data → Teledeclaration → Serving Plastic Substituted|booléen||Declared Data → Teledeclaration → Side Leftovers|chaînes de caractères||Declared Data → Teledeclaration → Unserved Leftovers|chaînes de caractères||Declared Data → Teledeclaration → Value Autres Aocaop Igp Stg|nombre réel||Declared Data → Teledeclaration → Value Autres Bio|nombre réel||Declared Data → Teledeclaration → Value Autres Commerce Equitable|nombre réel||Declared Data → Teledeclaration → Value Autres Externalites|nombre réel||Declared Data → Teledeclaration → Value Autres Local|nombre réel||Declared Data → Teledeclaration → Value Autres Non Egalim|nombre réel||Declared Data → Teledeclaration → Value Boissons Bio|nombre réel||Declared Data → Teledeclaration → Value Boissons Commerce Equitable|nombre réel||Declared Data → Teledeclaration → Value Boissons Externalites|nombre réel||Declared Data → Teledeclaration → Value Boissons Fermier|nombre réel||Declared Data → Teledeclaration → Value Boissons Hve|nombre réel||Declared Data → Teledeclaration → Value Boissons Peche Durable|nombre réel||Declared Data → Teledeclaration → Value Boissons Rup|nombre réel||Declared Data → Teledeclaration → Value Boissons Short Distribution|nombre réel||Declared Data → Teledeclaration → Value Boulangerie Aocaop Igp Stg|nombre réel||Declared Data → Teledeclaration → Value Boulangerie Externalites|nombre réel||Declared Data → Teledeclaration → Value Boulangerie Fermier|nombre réel||Declared Data → Teledeclaration → Value Boulangerie France|nombre réel||Declared Data → Teledeclaration → Value Boulangerie Label Rouge|nombre réel||Declared Data → Teledeclaration → Value Boulangerie Local|nombre réel||Declared Data → Teledeclaration → Value Charcuterie Bio|nombre réel||Declared Data → Teledeclaration → Value Charcuterie Externalites|nombre réel||Declared Data → Teledeclaration → Value Charcuterie Fermier|nombre réel||Declared Data → Teledeclaration → Value Charcuterie Hve|nombre réel||Declared Data → Teledeclaration → Value Charcuterie Label Rouge|nombre réel||Declared Data → Teledeclaration → Value Charcuterie Local|nombre réel||Declared Data → Teledeclaration → Value Charcuterie Peche Durable|nombre réel||Declared Data → Teledeclaration → Value Charcuterie Short Distribution|nombre réel||Declared Data → Teledeclaration → Value Externality Performance Ht|nombre réel||Declared Data → Teledeclaration → Value Fish Ht|nombre réel||Declared Data → Teledeclaration → Value Fruits Et Legumes Aocaop Igp Stg|nombre réel||Declared Data → Teledeclaration → Value Fruits Et Legumes Bio|nombre réel||Declared Data → Teledeclaration → Value Fruits Et Legumes Commerce Equitable|nombre réel||Declared Data → Teledeclaration → Value Fruits Et Legumes France|nombre réel||Declared Data → Teledeclaration → Value Fruits Et Legumes Hve|nombre réel||Declared Data → Teledeclaration → Value Fruits Et Legumes Label Rouge|nombre réel||Declared Data → Teledeclaration → Value Fruits Et Legumes Local|nombre réel||Declared Data → Teledeclaration → Value Fruits Et Legumes Peche Durable|nombre réel||Declared Data → Teledeclaration → Value Fruits Et Legumes Performance|nombre réel||Declared Data → Teledeclaration → Value Fruits Et Legumes Rup|nombre réel||Declared Data → Teledeclaration → Value Fruits Et Legumes Short Distribution|nombre réel||Declared Data → Teledeclaration → Value Meat Poultry Ht|nombre réel||Declared Data → Teledeclaration → Value Produits De La Mer Bio|nombre réel||Declared Data → Teledeclaration → Value Produits De La Mer Commerce Equitable|nombre réel||Declared Data → Teledeclaration → Value Produits De La Mer France|nombre réel||Declared Data → Teledeclaration → Value Produits De La Mer Hve|nombre réel||Declared Data → Teledeclaration → Value Produits De La Mer Label Rouge|nombre réel||Declared Data → Teledeclaration → Value Produits De La Mer Local|nombre réel||Declared Data → Teledeclaration → Value Produits De La Mer Performance|nombre réel||Declared Data → Teledeclaration → Value Produits De La Mer Rup|nombre réel||Declared Data → Teledeclaration → Value Produits De La Mer Short Distribution|nombre réel||Declared Data → Teledeclaration → Value Produits Laitiers Aocaop Igp Stg|nombre réel||Declared Data → Teledeclaration → Value Produits Laitiers Commerce Equitable|nombre réel||Declared Data → Teledeclaration → Value Produits Laitiers Externalites|nombre réel||Declared Data → Teledeclaration → Value Produits Laitiers Label Rouge|nombre réel||Declared Data → Teledeclaration → Value Produits Laitiers Short Distribution|nombre réel||Declared Data → Teledeclaration → Value Sustainable Ht|nombre réel||Declared Data → Teledeclaration → Value Viandes Volailles Aocaop Igp Stg|nombre réel||Declared Data → Teledeclaration → Value Viandes Volailles Bio|nombre réel||Declared Data → Teledeclaration → Value Viandes Volailles Commerce Equitable|nombre réel||Declared Data → Teledeclaration → Value Viandes Volailles Externalites|nombre réel||Declared Data → Teledeclaration → Value Viandes Volailles Fermier|nombre réel||Declared Data → Teledeclaration → Value Viandes Volailles Hve|nombre réel||Declared Data → Teledeclaration → Value Viandes Volailles Label Rouge|nombre réel||Declared Data → Teledeclaration → Value Viandes Volailles Non Egalim|nombre réel||Declared Data → Teledeclaration → Value Viandes Volailles Rup|nombre réel||Declared Data → Teledeclaration → Value Viandes Volailles Short Distribution|nombre réel||Declared Data → Teledeclaration → Vegetarian Menu Type|chaîne de caractères||Declared Data → Teledeclaration → Vegetarian Weekly Recurrence|chaîne de caractères||Declared Data → Teledeclaration → Waste Actions|liste||Declared Data → Teledeclaration → Year|nombre entier||Declared Data → Version|nombre entier||Declared Data → Year|nombre entier|

Aug 28, 2023
Read more from multi
Published on HackMD