Try   HackMD

Graduate "Metadata in Table Schema" from pattern to spec

Context

In 2019, we introduced a pattern for schema metadata properties, to be able to describe their name, description and other caracteristics. This helps users to understand schemas and increase their sharing and reuse, for example as part of a cataloging use case.

These metadata properties have since been used by a significative number of schemas, most of which have been created in France and cataloged on schema.data.gouv.fr.

Examples of adoption:

Some of the properties have also been implemented in frictionless-py:

  • descriptor (optional)
  • name (optional)
  • type (optional)
  • title (optional)
  • description (optional)

Proposition

In order to solidify the growing adoption of the metadata properties and increase the coherence between the spec and implementation, we propose to add a subset of those properties, those most frequently used, to the Table Schema specification and documentation, as part of the v2 Frictionless Data specs.

We will also propose via an issue on the frictionless-py repository to implement those properties in the library and document them.

All those properties would stay optional to ensure the retrocompatibility of the spec and implementations with existing schemas.

  • name:
    • Description: An identifier string for this schema.
    • Format: string in lower-case and containaing only alphanumeric characters along with "_" or "-" characters, without any space
    • Example: 'schema-static-ev-charger'
  • title:
    • Description: A human-readable title for this schema.
    • Format: string limited to 100 characters
    • Example: 'Static EV charger'
  • description:
    • Description: A text description for this schema.
    • Format: string
    • Example: "Specification of the exchange file for data concerning the geographical location and technical characteristics of electric vehicle charging stations and points."
  • homepage:
  • path:
    The direct path to the schema itself can be useful to help accessing it (i.e. machine readability).
  • sources:
    • Description: A list of dictionnaries containing documentation sources titles and urls related to the schema
    • Format: json array of documentation sources described with these properties "title" and "path"
    • Example:
    ​​​​[
​​​​        {
​​​​            "title": "Décret n° 2017-26 du 12 janvier 2017 relatif aux infrastructures de recharge pour véhicules électriques et portant diverses mesures de transposition de la directive 2014/94/UE du Parlement européen et du Conseil du 22 octobre 2014 sur le déploiement d’une infrastructure pour carburants alternatifs",
​​​​            "path": "https://www.legifrance.gouv.fr/jo_pdf.do?id=JORFTEXT000033860620"
​​​​        }
​​​​]
  • keywords:
    • Description: A list of short keywords related to the schema
    • Format: list of string
    • Example:
    ​​​​[
​​​​  "electric vehicle",
​​​​  "ev",
​​​​  "charging station",
​​​​  "mobility"
​​​​]
  • resources:
    Oftentimes, schemas are shared with example resources to illustrate them, with valid or even invalid files (e.g. with constraint errors).
    • Description: Example tabular data resource(s) validated or invalidated against this schema.
    • Format: json array of data file(s) described with these properties "title" and "path"
    • Example: 
      ​​​​[
​​​​        {
​​​​            "title": "Exemple de fichier IRVE valide",
​​​​            "path": "https://raw.githubusercontent.com/etalab/schema-irve/v2.3.0/statique/exemple-valide-statique.csv"
​​​​        }
​​​​]
  • created:
    • Description: The date on which this schema was created.
    • Format: date
    • Example: "2018-06-29"
  • lastModified:
    • Description: The date on which this schema was last modified.
    • Format: date
    • Example: "2022-10-10"
  • version:
    • Description: A unique version number for this schema, in the semantic versioning format, possibly prefixed with the letter "v".
    • Format: string
    • Examples: "2.3.0" or "v2.3.0" or "2.3.0-beta"
  • contributors:
    • Description: The contributors to this schema.
    • Format: json array of contributors described by these properties "title", "email", "organisation", "role"
    • Example: 
      ​​​​[
​​​​    {
​​​​        "title": "Alexandre Bulté",
​​​​        "email": "validation@data.gouv.fr",
​​​​        "organisation": "Etalab",
​​​​        "role": "author"
​​​​    },
​​​​    {
​​​​        "title": "Pierre Dittgen",
​​​​        "email": "pierre.dittgen@jailbreak.paris",
​​​​        "organisation": "Jailbreak",
​​​​        "role": "contributor"
​​​​    },
​​​​    ...
​​​​]

Adding other custom properties, would still be allowed and tolerated by implementations such as frictionless-py

Next

  • Collect feedback
  • Work on spec (PR)
  • Propose and work on implementation (issue+PR)

We propose to contribute to all or part of this work.

Last changed by 
 
multi
multi.coop
4
199

Read more

Entretien individuel

o

Apr 23, 2024
Update frictionless v5 - Modification structure du rapport de validation rendu par l'API

Avec l'update de la version v5 de frictionless-py, la structure du rapport de validation généré par validata s'en voit modifiée.

Apr 8, 2024
Note PR Evolution Table Schema

Le besoin exprimé dans cette PR est de pouvoir traduire dans un schéma de données le fait que deux champs peuvent être mis en relation (du point de vue modèle de données relationnels) (soit de type one-to-one, soit one-to-many soit many-to-many), pour pouvoir vérifier leur relation par un outil de validation.

Jan 25, 2024
data_canteen

|Declared Data → Applicant → Email|chaîne de caractères||Declared Data → Applicant → Name|chaîne de caractères||Declared Data → Canteen → Central Producer Siret|nombre entier||Declared Data → Canteen → City Insee Code|nombre entier||Declared Data → Canteen → Daily Meal Count|nombre entier||Declared Data → Canteen → Economic Model|chaîne de caractères||Declared Data → Canteen → Management Type|chaîne de caractères||Declared Data → Canteen → Name|chaîne de caractères||Declared Data → Canteen → Production Type|chaîne de caractères||Declared Data → Central Kitchen Siret|nombre entier||Declared Data → Satellite Canteens Count|nombre entier||Declared Data → Teledeclaration → Communicates On Food Plan|booléen||Declared Data → Teledeclaration → Communication Frequency|chaîne de caractères||Declared Data → Teledeclaration → Communication Support URL|chaînes de caractères||Declared Data → Teledeclaration → Cooking Plastic Substituted|booléen||Declared Data → Teledeclaration → Creation Date|date et heure||Declared Data → Teledeclaration → Diagnostic Type|chaîne de caractères||Declared Data → Teledeclaration → Donation Food Type|chaîne de caractères||Declared Data → Teledeclaration → Donation Quantity|nombre réel||Declared Data → Teledeclaration → Has Donation Agreement|booléen||Declared Data → Teledeclaration → Has Waste Diagnostic|booléen||Declared Data → Teledeclaration → Has Waste Measures|booléen||Declared Data → Teledeclaration → Plastic Tableware Substituted|booléen||Declared Data → Teledeclaration → Served Leftovers|chaînes de caractères||Declared Data → Teledeclaration → Serving Plastic Substituted|booléen||Declared Data → Teledeclaration → Side Leftovers|chaînes de caractères||Declared Data → Teledeclaration → Unserved Leftovers|chaînes de caractères||Declared Data → Teledeclaration → Value Autres Aocaop Igp Stg|nombre réel||Declared Data → Teledeclaration → Value Autres Bio|nombre réel||Declared Data → Teledeclaration → Value Autres Commerce Equitable|nombre réel||Declared Data → Teledeclaration → Value Autres Externalites|nombre réel||Declared Data → Teledeclaration → Value Autres Local|nombre réel||Declared Data → Teledeclaration → Value Autres Non Egalim|nombre réel||Declared Data → Teledeclaration → Value Boissons Bio|nombre réel||Declared Data → Teledeclaration → Value Boissons Commerce Equitable|nombre réel||Declared Data → Teledeclaration → Value Boissons Externalites|nombre réel||Declared Data → Teledeclaration → Value Boissons Fermier|nombre réel||Declared Data → Teledeclaration → Value Boissons Hve|nombre réel||Declared Data → Teledeclaration → Value Boissons Peche Durable|nombre réel||Declared Data → Teledeclaration → Value Boissons Rup|nombre réel||Declared Data → Teledeclaration → Value Boissons Short Distribution|nombre réel||Declared Data → Teledeclaration → Value Boulangerie Aocaop Igp Stg|nombre réel||Declared Data → Teledeclaration → Value Boulangerie Externalites|nombre réel||Declared Data → Teledeclaration → Value Boulangerie Fermier|nombre réel||Declared Data → Teledeclaration → Value Boulangerie France|nombre réel||Declared Data → Teledeclaration → Value Boulangerie Label Rouge|nombre réel||Declared Data → Teledeclaration → Value Boulangerie Local|nombre réel||Declared Data → Teledeclaration → Value Charcuterie Bio|nombre réel||Declared Data → Teledeclaration → Value Charcuterie Externalites|nombre réel||Declared Data → Teledeclaration → Value Charcuterie Fermier|nombre réel||Declared Data → Teledeclaration → Value Charcuterie Hve|nombre réel||Declared Data → Teledeclaration → Value Charcuterie Label Rouge|nombre réel||Declared Data → Teledeclaration → Value Charcuterie Local|nombre réel||Declared Data → Teledeclaration → Value Charcuterie Peche Durable|nombre réel||Declared Data → Teledeclaration → Value Charcuterie Short Distribution|nombre réel||Declared Data → Teledeclaration → Value Externality Performance Ht|nombre réel||Declared Data → Teledeclaration → Value Fish Ht|nombre réel||Declared Data → Teledeclaration → Value Fruits Et Legumes Aocaop Igp Stg|nombre réel||Declared Data → Teledeclaration → Value Fruits Et Legumes Bio|nombre réel||Declared Data → Teledeclaration → Value Fruits Et Legumes Commerce Equitable|nombre réel||Declared Data → Teledeclaration → Value Fruits Et Legumes France|nombre réel||Declared Data → Teledeclaration → Value Fruits Et Legumes Hve|nombre réel||Declared Data → Teledeclaration → Value Fruits Et Legumes Label Rouge|nombre réel||Declared Data → Teledeclaration → Value Fruits Et Legumes Local|nombre réel||Declared Data → Teledeclaration → Value Fruits Et Legumes Peche Durable|nombre réel||Declared Data → Teledeclaration → Value Fruits Et Legumes Performance|nombre réel||Declared Data → Teledeclaration → Value Fruits Et Legumes Rup|nombre réel||Declared Data → Teledeclaration → Value Fruits Et Legumes Short Distribution|nombre réel||Declared Data → Teledeclaration → Value Meat Poultry Ht|nombre réel||Declared Data → Teledeclaration → Value Produits De La Mer Bio|nombre réel||Declared Data → Teledeclaration → Value Produits De La Mer Commerce Equitable|nombre réel||Declared Data → Teledeclaration → Value Produits De La Mer France|nombre réel||Declared Data → Teledeclaration → Value Produits De La Mer Hve|nombre réel||Declared Data → Teledeclaration → Value Produits De La Mer Label Rouge|nombre réel||Declared Data → Teledeclaration → Value Produits De La Mer Local|nombre réel||Declared Data → Teledeclaration → Value Produits De La Mer Performance|nombre réel||Declared Data → Teledeclaration → Value Produits De La Mer Rup|nombre réel||Declared Data → Teledeclaration → Value Produits De La Mer Short Distribution|nombre réel||Declared Data → Teledeclaration → Value Produits Laitiers Aocaop Igp Stg|nombre réel||Declared Data → Teledeclaration → Value Produits Laitiers Commerce Equitable|nombre réel||Declared Data → Teledeclaration → Value Produits Laitiers Externalites|nombre réel||Declared Data → Teledeclaration → Value Produits Laitiers Label Rouge|nombre réel||Declared Data → Teledeclaration → Value Produits Laitiers Short Distribution|nombre réel||Declared Data → Teledeclaration → Value Sustainable Ht|nombre réel||Declared Data → Teledeclaration → Value Viandes Volailles Aocaop Igp Stg|nombre réel||Declared Data → Teledeclaration → Value Viandes Volailles Bio|nombre réel||Declared Data → Teledeclaration → Value Viandes Volailles Commerce Equitable|nombre réel||Declared Data → Teledeclaration → Value Viandes Volailles Externalites|nombre réel||Declared Data → Teledeclaration → Value Viandes Volailles Fermier|nombre réel||Declared Data → Teledeclaration → Value Viandes Volailles Hve|nombre réel||Declared Data → Teledeclaration → Value Viandes Volailles Label Rouge|nombre réel||Declared Data → Teledeclaration → Value Viandes Volailles Non Egalim|nombre réel||Declared Data → Teledeclaration → Value Viandes Volailles Rup|nombre réel||Declared Data → Teledeclaration → Value Viandes Volailles Short Distribution|nombre réel||Declared Data → Teledeclaration → Vegetarian Menu Type|chaîne de caractères||Declared Data → Teledeclaration → Vegetarian Weekly Recurrence|chaîne de caractères||Declared Data → Teledeclaration → Waste Actions|liste||Declared Data → Teledeclaration → Year|nombre entier||Declared Data → Version|nombre entier||Declared Data → Year|nombre entier|

Aug 28, 2023
Read more from multi
Published on HackMD