owned this note   changed a year ago  
Published Linked with GitHub

Webinaire 4 GT Notebook - 22 juin 2023 13h30-14h30

tags: gt notebook,webinaire

Ordre du Jour

  • Accueil (5 minutes)
  • Intervention Armelle Couillet / Courte rétrospective historique sur la visu (5 min)
  • Intervention Nicolas Rougier / L'esthétique et le notebook
  • Discussions
  • Retour sur la JupyterCon
  • Infos / événements
  • AG de rentrée & Session 2023-2024

Armelle Couillet, Retrospective historique pour la visu

Ingé d'étude en sciences de l'information géographique

Efficacité de la visualisation : la visualisation des données, notamment spatiales

Via les Précurseurs de la visualisation :

XVIII siècle : les premières visualisations des données, au sens d’une représentation autre que textuelle

Premières visualisations de données : émergence de la Statistiques () → William Playfair
«THE COMMERCIAL AND POLITICAL ATLAS».
Constat :
"As knowledge increases amongst mankind, and transactions multiply, it becomes more and more desirable to abbreviate and facilitate the modes of conveying information from one person to another, and from one individual to the many."
"I confess I was long anxious to find out, whether I was actually the firfs who applied the principles of geometry to matters of Finance"
"As the eye is the best judge of proportion, being able to estimate it with more quickness and accuracy than any other of our organs"

Alexandre de HUMBOLT (1769–1859) : “Tout ce qui a rapport à l’étendue et à la quantité est propre à être représenté par des figures géométriques. Les projections statistiques qui parlent aux sens sans fatiguer l’esprit, ont l’avantage de fixer l’attention sur un grand nombre de faits importants.” (1811)

XIX siècle : les premières cartes statistiques

Baron Charles DUPIN (1784-1873)
Carte figurative de l'instruction populaire de la France, 1826
Première carte statistique diffusée en France
Sur un fond de carte des départements français, il fait varier « la noirceur des teintes » selon la valeur des nombres.

John Snow (hyper important): fait la corrélation entre le pb de qualité d'eau et le choléra à partir d'une cartographie des cas de choléra sur Londres.
va au-delà d’une simple représentation puisqu’il amène une explication à la présence de la maladie ici et pas ailleurs (ou moins)
Pour la première fois en médecine, la relation est faite entre la qualité de l’eau et le choléra.
Sur un plan du quartier de Soho à Londres, il noircit les habitations dans lesquelles sont identifiés des cas de maladie et finalement observe qu’elles ont une forte tendance à se regrouper autour d’une pompe à eau particulière.

Charles Joseph MINARD (1781-1870)
Des Tableaux Graphiques et des Cartes Figuratives. E. Thunot et Cie, Paris. EN
"The dominant principle which characterizes my graphic tables and my figurative maps is to make immediately appreciable to the eye, as much as possible, the proportions of numeric results. … Not only do my maps speak, but even more, they count, they calculate by the eye.""

première publication de "géovisualisation" (campagne de Russie) : perte successives des hommes de l'armée française sur la campagne de Russie
Carte figurative des pertes successives en hommes de l'armée française dans la Campagne de Russie 1812-13 (comparées à celle d'Hannibal durant la 2èmee Guerre Punique) / Minard. Régnier & Dourdet Minard, Charles-Joseph (1781-1870).

Représentation de flux : déplacement d'individus représentée par une épaisseur donnée au trait : quantité dont on représente le déplacement entre deux points.

La carte revisitée : Menno-Jan KRAAK, Geovisualization illustrated

É.-J. MAREY, 1878
La méthode graphique dans les sciences expérimentales et principalement en physiologie et en médecine / par É.-J. Marey,… Marey, Étienne-Jules (1830-1904). Auteur du texte
Probablement la première fois que le terme « graphique » est associé à celui de méthode.
Nombre faramineux d'exemples (600 pages) de visualisation de mesures physiologiques, notamment en considérant le temps et le mouvement (et des gravures des machine !)

XX siècle : le système graphique

W. C. Brinton
GRAPHIC METHODS for PRESENTING FACTS, 1914
Pour lui, l’avantage des méthodes graphiques réside dans le fait que le lecteur peut faire se propres conclusions, contrairement à l’utilisation des mots, puisqu’il doit généralement accepter les conclusions qu’on lui présentent.
Il aborde le fait que la grammaire de la graphique est régie par un nombre de règles très restreint par rapport aux langues.
La graphique est dons très accessible !
" Since the readers whom it is most desired to reach are those who have never had any statistical training, consistent effort has been made to keep the whole book on such a plane that it may be found readable and useful by anyone dealing with the complex facts of business or government. "

"the structure built upon the foundation [which] gives the result for which the whole work was planned. "
"In many cases, the graphic method requires less space than is required for words and there is, besides, the great advantage that with graphic methods facts are presented so that the reader may make deductions of his own, while when words are used the reader must usually accept the ready-made conclusions handed to him."

"The rules of grammar for the English language are numerous as well as complex, and there are about as many exceptions as there are rules. Yet we all try to follow the rules in spite of their intricacies. The principles for a grammar of graphic presentation are so simple that a remarkably small number of rules would be sufficient to give a universal language."

Jacques BERTIN (1918-2010)
Sémiologie Graphique. Les diagrammes, les réseaux, les cartes. With Marc Barbut [et al.]. Paris : Gauthier-Villars, 1967

Il théorise la graphique et identifie les variables visuelles.

  1. Les dimensions de l'espace
  2. Les variables rétiniennes
    • Taille
    • Valeur
    • Grain
    • Couleur
    • Orientation
    • Forme

La graphique et le traitement graphique de l'information. Paris : Flammarion, 1977
Des ressources : matrice de Bertin en ligne A, B

Proposition : les textes étant formés de formes (les lettres), les règles de la graphiques peuvent s'adapter.
Richard Brath and Ebad Banissi. 2016. Using Typography to Expand the Design Space of Data Visualization. She Ji: The Journal of Design, Economics, and Innovation. 2: 59-87. https://doi.org/10.1016/j.sheji.2016.05.003

TUFTE, E. R. (1942-) INCONTOURNABLE
épuration des graphiques, élimine ce qui peut perturber la lecture ou l'attention
The Visual Display of Quantitative Information. Graphics Press, Cheshire, CT, 1983. "How to depict data and enforce statistical honesty"
Visual Explanations. Graphics Press, Cheshire, CT, 1997 . (ah mais ca c'est "récent", c'est brillant)

Image Not Showing Possible Reasons
  • The image file may be corrupted
  • The server hosting the image is unavailable
  • The image path is incorrect
  • The image format is not supported
Learn More →
. "the representation of mechanism and motion, of process and dynamics, of causes and effects, of explanation and narrative…"

Michael Friendly. The Golden Age of Statistical Graphics
Statistical Science, Vol. 23, No. 4 (November 2008), pp. 502-535
Une retrospective sur l'évolution de la visualisation de données depuis ses débuts avec une mise en perspectve de l'évolution des techniques d'édition.

Pour aller lus loin:

  • Christine INRAE History of Information Graphics (Renden & Wiederman)

Les travaux de Akiyoshi KITAOKA sur la perception visuelle
Sur les caractères et la couleur en particulier

Geovisualisation
Sarah Irina Fabrikant
Les pages de Natalia & Gennady Andrienko

Usage de la couleur
Yves Jégou 1, 2

Visualisation du temps
Le site de Jean-Yves Blaize et Iwona Dudek.
https://timeviz.net/
http://spaceandtime.wsiabato.info/

Traitement graphique de l'information
https://www.aviz.fr/Research/Projects

Nicolas Rougier, l'esthétique et le notebook

Les notebooks les plus répandus, comme par exemple les Jupyter notebooks, font peu de cas de l’interface utilisateur qui se résume essentiellement à des cellules que l’on peut éditer et dont l’esthétique parait un peu datée, peu fonctionnelle, voire ambigüe.

De fait, on est relativement éloigné de la programmation littéraire pour laquelle il existe pourtant des exemples assez remarquables tel que le défunt journal scientifique https://distill.pub/ (notamment https://distill.pub/2020/growing-ca/). Entre ces deux extrêmes, il y a certainement un espace à explorer pour offrir de meilleures interfaces. En m’appuyant sur Emacs, qui offre la possibilité de manipuler entièrement son interface, je présenterai quelques expériences autour de l’esthétique du notebook pour explorer la manière dont cela peut influer sur leur utilisation.

Chercheur Inria Brodeaux en neuroscience computationnelle

Esthétique : les notebooks sont moches visuellement.

Jouons avec les styles :

ça n'est qu'un aspect visuel (pas si simple), on se demande pourquoi ce n'est pas plus simple.

Problématique de Nicolas: en terme d'interface : ce qu'il y a à l'écran ne représente pas ce qui est en mémoire.

Pb notamment pour les étudiants : quand ils expérimentent,
le paraduigme du notebook, c'est comme un terminal sauf qu'on peut revenir sur une cellule et reprendre le cours.
Visuellement on n'a pas une bonne indication de là où on en est. Les numéros IN [17]:

Besoin de savoir où on en est : cad où en sont les variables, la mémoire
problème d'interface qui ne représente pas ce qui est en mémoire.

Certaines choses sont cachées lors de l'utilisation des notebooks, notamment l'inclusion de certaines librairies.

compromis à faire entre simplicité et fidélité de l'information.

Export PDF: via Latex, mais peu de levier pour avoir des choses plus sympa.

Visualisation en direct de représentation 3D

Reinteract - better interactive python
console où lorsqu'une variable était modifiée, les cellules l'utilisant étaient invalidées.
Pourquoi ca n'est pas fait dans Jupyter ?

  • Sylvain C
    • note on reactive programming : akernel
    • Sur le notebook 7: système de thèmes configurable comme pour JupyterLab: beaucoup plus facile de configurer l'apparence.
    • Autres thèmes:
  • Sébastien B En Julia, pluto fait ce que décrit Nicolas (arbre de dépendances). Le problème c'est que parfois, la mise à jour d'une petite variable va déclencher un GROS calcul.

Avec Emacs: réflexion sur la typographie et l'éditeur de texte : "On the design of text editors"

Enorme avantage d'Emacs: c'est qu'on peut tout modifier, parfois sans coder (themes, packages dédiés).
Mode Org-mode très puissant:

- notebook-mode : mode mineur d'Org-mode
- ajout de bouton dédiés à certaines fonctionnalités
- possibilité de faire de la programmation lettrée (literate programming)
- intégration de code snippets (ex: code.info qui renvoit une chaine de charactère)
- manipulation de code de façon explicite (on peut nommer les snippets (ou les cellules))
- nommer une cellule permet de l'appeler à différents endroits et d'agréger les appels
- moins interactif qu'un notebook mais plus programmation litteraire
- mise en page de l'export HTML à l'aide du CSS
Export :

Distill.pub: journal avec des articles avec des morceaux de code interactifs permettant d'intéragir avec ce qui est présenté dans l'article.

Emacs permettrait de faire à la fois l'interaction et le rendu.

Discussions

  • Emmanuel Halbwachs (Obs. Paris) est-il possible de faire des potentionmètres avec Emacs comme il est possible d'en avoir sur Jupyter ?

  • Benoît S ipy widgets

  • Sylvain Corlay l'interface Notebook "classique" de Jupyter n'a pas évoluée depuis 2016 car concentration sur Jupytelab. Notebook 7 : bascule sur l'interface graphique issue de Jupyterlab, le format de fichier du notebook ne changent pas, seule l'interface graphique est mise à jour.

  • Konrad Notre MOOC sur la recherche reproductible (https://www.fun-mooc.fr/fr/cours/recherche-reproductible-principes-methodologiques-pour-une-science-transparente/) propose un parcours emacs-orgmode pour s'initier.

  • Jonathan Schaeffer Pour moi la grosse valeur ajoutée de org-mode c'est qu'on peut faire des blocs de code dans tous les langages

  • Sébastien dépendance au chemin d'exécution des cellules de code… ton expérimentation ?

emacs non user-firendly, reste expérimentation…, tester des idées

  • Nicolas Rougier: Jupyter bien installé
  • Sébastien Rey: Emacs-lisp: le code c'est de la donnée qu'il est possible de faire varier. Et offre plus de possibilité
  • Nicolas Rougier: Org-mode uniquement sur Emacs et pourtant diffusion parmi des néophytes

Un plugin neovim tente de suivre

  • Konrad Hinsen: 3 créateurs MOOC utilisateurs d'Emacs. Seulement 25% des gens suivent le MOOC avec Emacs. Certains font le MOOC pour apprendre Emacs.
  • Sylvain Corlay Changement du format du notebook mais très répandu avec des éditeurs qui permettent un rendu. Travail sur un nouveau format texte modifiable simplement, proche de Rmarkdown
  • Rapahëlle Brangier Notebook comme des objets industriels ou objets exploratoire. As-t-on besoin d'une grosse machine por faire tourner un rendu HTML ?
  • Sébastien Brisard Si je me souviens bien, une grosse différence entre Jupyter et Org-mode est que Org-mode permet d'être polyglotte : une même feuille de calcul peut contenir des cellules dans divers langages (et on peut les faire interagir). De même, on peut faire tourner simultanément plusieurs sessions Python
  • Athur code-cells el
  • Andréa La fameuse courbe d'apprentissage d'Emacs:
  • Sarah org transclusion

Retours JupyterCon

par Pierre Poulain

  • JupyterCon c'est LA conf internationale autour de l'écosystème Jupyter. La plupart des acteurs du milieu y participent et sont disponibles. C'est une super occasion pour rencontrer les gens et discuter. L'atmosphère de la conférence était très agréable.
  • Le programme de cette année est disponible ici : https://cfp.jupytercon.com/2023/schedule/
  • Toutes les conf ont été enregistrées et seront bientôt disponibles.
  • Cette année, j'ai senti un gros engouement autour de JupyterLite qui fonctionne entièrement dans le navigateur (https://cfp.jupytercon.com/2023/talk/EU7HFP/). C'est très prometteur pour l'enseignement par exemple.
  • Il y a eu plusieurs sessions autour de l'éducation (en rose dans le planning), avec de nombreux projets.
  • J'ai aussi apprécié le projet MyST Markdown (https://cfp.jupytercon.com/2023/talk/WWZMSG/) qui vise à produire des articles scientifiques à partir de documents en Markdown ou en notebook Jupyter. Je n'ai pas encore testé mais c'est sur ma todo list.
  • Emilien a fait un super topo sur l'apport de Jupyter en SSH (https://cfp.jupytercon.com/2023/talk/YGMDZL/)
  • Pour terminer, il y a actuellement un gros de travail de fait pour améliorer l'accessibilité de l'interface JupyterLab pour des personnes avec des handicaps visuels ou moteurs.
    Voilà ce que j'ai noté comme points marquants. Vous trouverez un autre compte-rendu ici : https://www.stat4decision.com/fr/retour-sur-jupytercon-2023/
    Ah et aussi, JupyterCon 2024 aura encore lieu à Paris l'an prochain. Les dates ne sont pas encore connues mais n'hésitez pas à passer si vous pouvez.

Infos Evénements

AG et Session 2023-2024

  • 150 personnes sur la mailing-list de toutes les disciplines
  • AG en septembre, date à définir puis diffuser sur la ML
  • Construction de sous-groupes (Jupyter, Emacs, écosophie, etc)
  • Recherche de financement pour une journée d'études en présentiel
Select a repo