██████╗ ██████╗  █████╗    ██████╗ ██╗      █████╗ ██╗   ██╗
██╔══██╗██╔══██╗██╔══██╗   ██╔══██╗██║     ██╔══██╗╚██╗ ██╔╝
██║  ██║██║  ██║███████║   ██████╔╝██║     ███████║ ╚████╔╝
██║  ██║██║  ██║██╔══██║   ██╔═══╝ ██║     ██╔══██║  ╚██╔╝
██████╔╝██████╔╝██║  ██║   ██║     ███████╗██║  ██║   ██║
╚═════╝ ╚═════╝ ╚═╝  ╚═╝   ╚═╝     ╚══════╝╚═╝  ╚═╝   ╚═╝

datetime(2022, 10, 10) && what3('abbauen.beraten.offiziell')

PART 2 hackmd.io/@oleg/dda-21-play3-5
PART 1 hackmd.io/@oleg/dda-21-play3

Lernziele

Selbstorganisierte Datenerhebung

• Entwicklung von experimentellen Gestaltungs- und Visualisierungstrategien
• Kenntnisse in der Entwicklung eines eigenständigen visuellen Repertoirs
• Kenntnisse im Umgang mit kartografischem Material
• Methodisches und praktisches Vorgehen
• Kontextualisierung von Themen und Gestaltungsansätzen
• Aneignen von Kompetenzen in visueller Vermittlung von komplexen Themen und Daten

Spezifische Lernziele

• Daten mit Hilfe von Messgeräten wie GPS-Tracker, DIY und Off-The-Shelf Sensoren selbstorganisiert erheben und
  extrahieren.
• Daten mit Hilfe von Crowdsourcing-Apps und offenen Datenquellen (OGD, LD, PD, …) finden und diese mit Spreadsheets und APIs aufbereiten.
• Sich auseinandersetzen mit komplexe Information durch einfache explorative Datenanalyse.
• Der unterschied zwischen kartographische, statistische und andere Daten verstehen.

Weitere Lernziele

• Einführung in Datennachhaltigkeit, Lizenzierung und der schutz von Personenbezogene Daten.
• Fähigkeiten zum selbstkritischen Recherche und Datenerhebung entwickeln.
• Ihre Feldarbeit zu starten mit eine "Spazierung in die Datendjungeln"
• Die Ergebnisse ihrer Peers sehen und kritisch hinterfragen, selbst konstruktive Kritik annehmen, diese reflektieren und sinnvoll in die Weiterentwicklung ihres Projekts einbinden.

Ich heisse Oleg

Informatiker (39), verheiratet, 2 Kinder, Kanadier

Meine +/- Ziele

I. Internetplattformen einrichten, die Menschen durch+um Informationen herum zusammenbringen; II. Projektbasiertes "hands on" Lernen fördern; III. Kritische Bewertung von Code, Algorithmen und Daten unterstützen.

I. SELBSTORGANISIERTE DATENERHEBUNG

• Di. Datenportale, Kartendienste, Personal Data
• Mi. Brainstorming von Strategien und Richtungen
• Do. Datenerhebung und Extrahierung How-To
• Fr. Datenaufbereitung von Spreadsheets zu APIs

SELBSTORGANISIERTE …

Von Die Autorenschaft wurde nicht in einer maschinell lesbaren Form angegeben. Es wird Moroboshi als Autor angenommen (basierend auf den Rechteinhaber-Angaben). - Die Autorenschaft wurde nicht in einer maschinell lesbaren Form angegeben. Es wird angenommen, dass es sich um ein eigenes Werk handelt (basierend auf den Rechteinhaber-Angaben)., CC BY-SA 3.0, Link

Metadata fail?

DATENERHEBUNG

History of Data Storage (YouTube)

Kraftbalanse - Øystein Wyller Odden (Vimeo)

„Meine Reise ins All sollte eine Feier sein, stattdessen fühlte es sich wie eine Beerdigung an“, so Shatner. „Es war eines der stärksten Trauergefühle, die ich je gefühlt habe. Der Kontrast zwischen der bösartigen Kälte des Weltraums und der warmen Erde unter mir erfüllte mich mit überwältigender Traurigkeit.“ – William Shatner (BusinessInsider) beschreibt damit eine Erfahrung, die als Overview-Effekt bekannt ist.

Crowdsourced neighbourhood boundaries (Bostonography)

Field Papers

StoryMaps: Datengeschichten (Swisstopo/sCHoolmaps)

Was heisst Open Data ?

Generating a word cloud for interview transcripts with R - Struck & Simukovic

The Open Definition

"Wissen ist offen, wenn jedeR darauf frei zugreifen, es nutzen, verändern und teilen kann – eingeschränkt höchstens durch Massnahmen, die Ursprung und Offenheit des Wissens bewahren." (opendefinition.org)

Die „virale“ Share-Alike Klausen in CC sind ähnlich zu der GNU General Public License von Free Software Foundation, die an die Würzeln der Open Source Bewegung in der IT stehen.

"Fisch" query on Google Image Search with Creative Commons-Filter.

"Fish" query on CC BY Openverse

Creative Commons license at YouTube Studio

CC License Chooser Beta

Open Data Commons Licenses, von Open Knowledge empfohlen, wurden bereits in mehreren Ländern der Welt eingeführt.

Warum sind Lizenzen für Daten wichtig?

• Strukturierte Daten sind nur eine andere Art von Inhalt
• Förderung der Remix-Kultur für kreative Zusammenarbeit
• Anerkennung der Urheberschaft schützt die Arbeitsbedingungen
• Die Open-Government-Strategie führt zu neuen Datenressourcen
• Eine Einladung, mit Daten "offener" (interdisziplinär..) zu arbeiten

Die Bundesstrategie für OGD (2019-2023) implementiert Nutzungsbedingungen, die direkt von Creative Commons inspiriert sind, aber keine Lizenzen per se sind. Sie sieht Mechanismen vor, mit denen Daten von schweizerische Regierungsstellen als Open Data veröffentlicht werden können.

Seit 2011 haben wir in der Schweiz eine engagierte Community, die den Datenzugang für die breite Öffentlichkeit vorantreibt (Bild: MAKE badge).

Wo gibt es für mich benützbaren Daten?

Oft stehen offene Daten hinter die Apps und Webseiten, die wir alltäglich brauchen (Bild: SHIP map). Schau hinein!

Auf Open Data-Portalen werden immer mehr Daten zu diverse Themen publiziert. Diesen Bild von opendata.swiss stammt von 2019. Wieviel Datensätze gibt es Heute?

Viele Daten sind aufbereitet von Statistiker:innen, und meistens als mehrseitigen Reports publiziert, so wie die Taschenstatistik der BFS.

Die Open Data Community engagiert sich ab und zu um neue Datenquelle zu kreieren, oftmals in Zusammenarbeit mit Gemeinde, Kantone oder Bundesstellen (Bild: db.schoolofdata.ch, auch im NZZ - 4.10.2022).

Die Monitoring der Verfügbarkeit von Datenquellen ist auch eine wichtige Aufgabe. Dieser Screenshot zeigt, wie GeoAdmin seine offenen Datendienste überwacht. Siehe auch die Arbeiten von Jonas Oesch. Es ist wichtig zu erinnern, dass Daten bleiben nicht unbedingt für immer verfügbar, oder offen!

Sieben beliebte Methoden der Datenerfassung

0. Ein paar Zahlen in einer Tabelle schmeissen
1. Mit einem Klemmbrett herumlaufen
2. Den Leuten eine Umfrage zum Ausfüllen schicken
3. Einen festen Sensor irgendwo aufstellen
4. Einen mobilen Sensor anbringen & eine Runde fahren
5. Aus (Satelliten-)Bildern interpretieren
6. Daten von jemand anderem herunterladen
7. Leise schmarotzen, wenn niemand zuschaut

Mr. Bean Destroys Painting (YouTube) zeigt auf einer amüsanten Art, was passieren könnte, wenn wir zu nah an unsere wichtige und einzigartige Quellen können … und versuchen sie alleine zu verbessern.

Datenrecherche in der Praxis

Anleitung

Wir verwenden Teams und GitHub mit der Dribdat-App für die Zusammenarbeit bei der Datenforschung. Siehe auch die School of Data pipeline, die eine wichtige Inspiration für uns ist.

dribdat DDA.schoolofdata.ch

1. Log dich ein, um ein Profil zu erstellen. Füge deine (Spitz-)Namen, eine kurzen Biografie (meine Skills..) und deine Ziele hinzu.
2. Schauen die vorgeschlagenen Ressourcen und Beispiele für Datenforschungsprojekte an, mit Links zu bestehenden offenen Quellen und Datenerfassungsmethoden.
3. Versuche, von jedem Datensatz, den du entdeckst und verwenden möchtest, eine Kopie zu bekommen und ihn zu untersuchen. Es könnte zunächst wie Spaghetti aussehen … Wir werden es gemeinsam tun! Stelle deine Expeditionsleiter alle Fragen vor Ort oder über Slack.
4. Beschreibe die Hindernisse oder Erkenntnisse in einem Beitrag (Post > Log) auf deine Projektseite.
5. Am Ende der Übung sollten die Daten und eine einfache Vorschau auf deine Projektseite zu sehen sein.

In einer Datenexpedition lernen wir, mit offenen Daten zu arbeiten und grössere Mengen an diversen Informationen aus legalen, authentischen und aktuellen Quellen zu sammeln. Dazu dient es unsere Ressourcenkataloge (oben abgebildet).

Let's go!

1. Wir denken über Fragen (ASK) nach, die wir gerne stellen möchten, über Themen, die uns in Bezug auf die städtische Datenlandschaft interessieren.
2. Wir recherchieren (FIND) gemeinsam in Datenportalen und Suchmaschinen und sammeln die Perlen, die wir finden.
3. Wir schreiben Queries (GET) vor, kreieren Accounts, entwerfen Briefe, laden Daten herunter.
4. Wir prüfen ob wir aus authentischen (VERIFY) Quellen die Daten programmatisch extrahieren und/oder rechtlich beantragen können.
5. Wir verbessern (CLEAN) der Datenqualität und ergänzen die Daten mittels Crowdsourcing on.
6. Wir berechnen (ANALYSE) die Daten, stellen Relevanz zu aktuellen Themen und Institutionen hervor.
7. Wir berichten (PRESENT) über unsere Entdeckungen, die wir mittels Visualisierungen und Publikationen mitteilen.

Fragen für die Runde

• Wie kann eine Datenexpedition bei einem Data Art & Design Projekt helfen?
• Wo sucht man normalerweise nach Daten? Was müssen wir beachten?
• Warum sollten wir offene, verknüpfte oder reibungslose Daten bevorzugen?
• Wie können wir uns den Daten, und der Visualisierung auf denen basiert, gut vertrauen?
• Was ist genau ein Datenkatalog?
• Wie können Daten Ihre Privatsphäre bedrohen?
• Was macht eine Datenquelle authentisch?

All the world's an API

Öffentliche Einrichtungen und Unternehmen bauen jeden Tag ihre digitale Dienste auf APIs auf. Was können wir damit anfangen, und wie können wir mitmachen?

Libraries are a kind of API

Data..

or API?..

Ideally: the best of both worlds!

There are many tools to work with APIs

https://www.postman.com/

Look for libraries and open source community examples.

https://github.com/search?o=desc&q=srgssr&s=updated&type=Repositories

From CSV to GeoJSON & beyond

Wie das W3C, die Internet Engineering Task Force (IETF) oder Open Knowledge daran arbeiten, einen Konsens für Datenformate zwischen Industrie, Regierung und Wissenschaft zu schaffen.

https://5stardata.info/

https://lod-cloud.net/

Beispielhaftes Open Data API

https://opendata.swiss/de/dataset/standorte-und-verfugbarkeit-von-shared-mobility-angeboten

Siting Classification

Herausforderungen bei Daten-aquise? Wir können uns von der Suche nach einem "repräsentativen Standort für eine Messstation" bei der gestrigen WMO-Konferenz in Paris inspirieren. Es ist wirklich nicht einfach auf dauer gute, vergleichbare Daten zu erheben! Open standards Walled gardens

Jonathan Oldenbuck - CC BY-SA 3.0, Link

Weiteres Vorgehen

Wir erkunden den Raum und machen selbstorganisierte Datenerhebung wenn wir uns bedienen von vorhandener Systeme und Geräte (Mobile, GPS-Tracker), entwickeln unsere eigenen Sensoren und Tools, und betreiben visuelle Datenerhebung.

Die eigene Datenerhebung stellen wir in einen grösseren Kontext zu Open Data und bringen sie miteinander in Verbindung.

Die Daten bearbeiten wir im Code und mit analogen und digitalen Gestaltungswerkzeugen. Wir forschen mittels Experimenten nach neuen Datenformaten, geeignet zu verschiedene Visualisierungsmöglichkeiten.

Die gefundenen und erhobenen Daten von stellen wir kartografisch dar und ergänzen sie mit Zukunftsdaten. Für die zweite Unterrichtswoche mit Christian sollen wir wissen wo Geodaten zu finden sind und eigenständig diese je nachdem zu konvertieren (z.B. JSON - CSV - GeoJSON).

Es ist wichtig zu wissen, wie man Geodaten, welche in Schweizer Landeskoordinaten erfasst sind, nach WGS84 umformen kann. Viele offene Geodaten, gerade von Luzern, sind in Schweizer Landeskoordinaten abgelegt.

Anleitung auf https://dda.schoolofdata.ch/project/11

Next module (18-21.10)

<< MAXIMALE DATENFREIHEIT >>

• Wie Daten verbessert/veredelt sind mit Machine Learning und Automation
• Selbster Daten publizieren: Quellen, Packaging, Sharing, Analytics
• Weiteren Datenerhebung und Support von Projektarbeiten

🔜 Wir suchen nach Datenquellen, die relativ aktuell sind, Potenzial für künstlerische Anwendungen haben und möglichst frei von Restriktionen und Zugänglichkeitsproblemen sind - im Idealfall offen gemäss der Open Definition. Aus den besten Daten, die wir gemeinsam entdecken, wollen wir qualitativ hochwertige Pakete erstellen, die in unseren Datenvisualisierungs- und 3D-Produktionswerkzeugen verwendet werden können.

Wir sind Künstler und bekommen unsere Daten nicht auf dem Silbertablett serviert.

Kombination aus offenen, angefragten, von Menschenhand gesammelten und selbst gesammelten Daten.

Gemeinsame - kollaborative - Nutzung von Daten durch Studenten.

Fokus auf Datenformate, nicht auf Tools.

"Where there is perfect certainty, there is no information: there is nothing to be said."
– J Soni & R Goodman

Fragen?

oleg.lavrovsky@hslu.ch

This presentation is shared under CC BY 4.0