Layout-Analyse für Tabellen-Dokumente: Zwischenbericht
Verbund-Arbeitstreffen Smart-HEC 15.01.2021
Robert Sachunsky, J. Nathanael Philipp, Dr. Andreas Niekler
Zeitplan
- Q4: M10 Erste Beta-Version der KI-Logik ist entwickelt.
- Status ist ein funktionsfähige Version, die nun hinsichtlich der zu erkennenden Werte evaluiert und angepasst wird.
- Q5: Ausbau
Problemstellung (Heizkostenabrechnung)
- Abrechnugszeitraum
- Nutzungszeitraum
Postleitzahl- Gebäudefläche
- Wohnungsfläche
Energieträger- Verbrauch Energieträger (Anzahl)
- Verbrauch Energieträger (Einheit)
- Verbrauch Energieträger (Kosten)
- Verbrauchseinheiten des Gebäudes
- Verbrauchseinheiten der Wohnung
- Verbrauchseinheiten (Einheit)
- Verbrauch Warmwasser des Gebäudes
- Verbrauch Warmwasser der Wohnung
- Verbrauch Warmwasser (Einheit)
- Kosten des Kaltwassers für Warmwassererzeugung
- Heizkosten des Gebäudes für Raumwärme
- Heizkosten des Gebäudes für Warmwasser
- Anteil Grundkosten für Raumwärme
- Anteil Grundkosten für Warmwasser
externe Fallunterscheidungen vorab → Entscheidungsbaum
- Ein-, Zwei-, Mehrfamilienhaus
- Haus-, Wohnungseigentümer, Mieter, Verwalter
- Zentralheizung, Etagenheizung, Nachtspeicher
- Keller, Warmwasserbereitung …
interne Klassifikation automatisch:
- auf welcher Seite?
- welcher Messdienstleister?
- BFW
- Brunata
- Ista
- Kalo
- Minol
- Techem
- Sonstige
Problemstellung (Heizkostenabrechnung)
Wie geht der Mensch vor?
| Wohnfläche: |  |
| Anteil Grundkosten Heizung: |  |
| Verbrauchseinheiten (Gebäude): |  |
| Verbrauchseinheiten (Wohnung): |  |
| Heizkosten Gebäude (Raumwärme): |  |
| Verbrauch Energieträger (Anzahl): |  |
| Verbrauch Energieträger (Einheit): |  |
| Verbrauch Energieträger (Kosten): |  |
Problemstellung (Heizkostenabrechnung)
Herausforderungen → Lösungsstrategien
- Verschränkung von visueller und textueller Information →
- erst textuelle Klassifikation dann visuelle Segmentierung
- sehr komplexe Layouts →
- Pretraining auf Seitensegmentierung
- Training auf echten Beispielen
- randomisierte Augmentierung
- hohe sprachliche Varianz →
- Pretraining mit Wortvektoren
- Training auf großen Mengen Text
- randomisierte Generierung von Varianten
- redundante Einträge, aber auch mehrseitige Layouts →
- Augmentierung beim Training
- Wertbedingungen bei Inferenz
- Semantik (Addition, Subtraktion, Multiplikation, Division) →
- Plausibilisierung, Nachkorrektur
Lösungsansatz: partielle Layoutanalyse
- Grundidee: partielle Layoutanalyse einfacher, relevant nur ~20 Zahlenwerte
- implizite Modellierung logischer Tabellenstruktur:
- Freifeld-Zeilensegmentierung (regelbasiert) → Textzeilen
- Standard-OCR Tesseract (CNN-LSTM) → Textzeilen+Text
- textuelle Klassifikation (RNN?) → Textzeilen+Text+Kontext
- visuelle Segmentierung (Mask-RCNN) auf Bild+Textzeilen+Kontext-Markierung → Kennwert-Markierung
- Nachverarbeitung und Extraktion
Lösungsansatz: partielle Layoutanalyse
Objekterkennung/Instanzsegmentierung: Mask-RCNN (Standard)
- Multitask-Learning für Objekterkennung auf Bildern:
- Klassifikation
- Bounding-Box-Regression
- Pixelmaske innerhalb der BBox
Lösungsansatz: partielle Layoutanalyse
Objekterkennung/Instanzsegmentierung: Mask-RCNN (Erweiterungen)
-
1 Klasse pro Kennwert, aber Multitask-Learning über alle Klassen (Kennwerte)
-
2 zusätzliche Eingabe-Kanäle: Text vs. Nontext, Text vs. Kontext
-
1 zusätzlicher Ausgabe-Layer: Seiten-Klassifikation (welcher Messdienstleister); per Input-as-Output
Lösungsansatz: partielle Layoutanalyse
Datenbedarf und Groundtruth-Erstellung
-
textuelle Varianten (Formulierungen) für Kontexte (Plaintext)
-
Bilder annotiert mit Markierungen für jeden Kennwert:
- Kontext
- Kennwert
-
Herausforderung: DL-Training braucht große Mengen Daten
- automatische Vorverarbeitung mit OCR-D-Pipeline
- manuelle Annotation mit LAREX (PAGE-XML)
Lösungsansatz: partielle Layoutanalyse
Groundtruth-Erstellung
 |  |
|
|
Lösungsansatz: partielle Layoutanalyse
Reduktion des Datenbedarfs
- Bild-Augmentierung
- Modell-Transfer von Standardproblemen
|
|
|
|
|
|
||
Schwierigkeiten
automatische Vorverarbeitung
OCR-D optimiert für saubere Scans historischer Drucke
- Kontrast/Farbnormalisierung (neu)
- Roh-Entrauschung (neu)
- Deskewing (teilweise nicht robust)
- De-Keystoning/Dewarping (unbrauchbar)
Schwierigkeiten
automatische Vorverarbeitung
Deskewing: Robustheit
Schwierigkeiten
automatische Vorverarbeitung
Dewarping: Hintergrund/Ausleuchtung/Layout
Schwierigkeiten
LAREX / Annotations-Server
- Bugs bei Installation
- Bugs bei PAGE-Import/Export
- Bugs bei Darstellung
- Bugs bei Handling
Schwierigkeiten
Mask-RCNN / Training (1)
- Implementierung (Upstream) jetzt nicht mehr gepflegt
- Bugs in Batch-Generatoren (identische Bilder in allen Threads, Hängen bei unvollständigen Batches)
- GPU-Speicherbedarf auf Workstation, Multi-GPU / CPU-Oversubscription auf HPC-Cluster
- zusätzl. Eingabekanäle / Modelltransfer
- Augmentierung: Verallgemeinerung (Bild vs. Markierung vs. Annotation)
Schwierigkeiten
Mask-RCNN / Training (2)
- auf leeren Seiten: zufällige Proposals generieren (statt nichts), mit negativen Regionen auffüllen (statt nichts)
- Falschpositive: Hintergrund lernen durch saubere Unterscheidung zwischen Füll-Null und Klasse Null
- nur 1 Klasse auf einmal: inaktive Klassen in Zielfunktion korrekt unterdrücken (nicht unerlaubt klassifizierte Instanzen sondern Klassen-Anteil in Kreuzentropie)
- nur 1 Klasse auf einmal: auch bei Inferenz
Schwierigkeiten
Open-Source-ML allgemein
- Frameworks zum Maschinellen Lernen: sehr kurzlebig
- hohe Komplexität, viele Details, Korrektheit nur statistisch überprüfbar →
- riskant bei neuen Aufgaben / Daten
- erschwert zeitliche Planbarkeit
- Skalierung und Domain-Adaption aufwendig
Status und Aussicht
Beispiele
Status und Aussicht
Experimente
- alles einmal durchtrainieren, dann kontinuierlich weiter evaluieren (mAP)
- Hyperparameter (Layer-Topologie, NMS-Schwellwerte und Konfidenzen, Optimierer, Regularisierung, Lernrate, Augmentierung)
- erst leichte Klassen (Datum, Kosten, Fläche), dann schwere (Verbrauch/Einheiten, Anteile)
- erst leichte Beispiele (Altdaten), dann schwere (Neudaten)
- erst homogene Layouts, dann generisch Sonstige unter Mischung aller Daten
- Transfer nicht von Photoszenerie-Detektion, sondern von domänenspezifischen Modellen: PubLayNet-Seitensegmentierung trainieren
- Durchlauf-Prototyp als Docker-Webservice (Bild→Kennwerte)
Status und Aussicht
Nächste Schritte (aktuell)
- Training von
Sonstigeohne die (schlechten) Daten ausSonstige - Evaluierung
- Training mit Kontext-Degradierung, um Unterschied zwischen Lernphase und Kannphase bei Textklassifikation/Kontextmarkierung zu reduzieren
- Training auf RGB-Daten
- Training mit Kontextmarkierung Text vs Zahl
Status und Aussicht
Nächste Schritte (weiter)
- Laufzeit-Integration OCR-D-Pipeline in Webservice
- Bootstrap/Konsolidierung Groundtruth
- weitere (komplexere) Kennwerte dazunehmen
- Seitenklassifikation (Messdienstleister) durch Erweiterung auf 4. Head-Layer; Trainingsmethode Input-as-Output
- Textklassifikation verbessern (trainieren?)
Status und Aussicht
Nächste Schritte (weiter)
- Optimierung (v.a. Robustheit gegenüber schlechter Bildqualität, Rückweisung/Konfidenz)
- logisches Datenmodell zur wechselseitigen Plausibilisierung
- Werkzeuge für Training kapseln und für Nachführung von weiterem GT verfügbar machen (mehr Daten / neue Klassen / neue Layouts)
- Publikation und Dokumentation
Layout-Analyse für Tabellen-Dokumente: Zwischenbericht Verbund-Arbeitstreffen Smart-HEC 15.01.2021 Robert Sachunsky, J. Nathanael Philipp, Dr. Andreas Niekler
{"metaMigratedAt":"2023-06-15T18:32:55.953Z","metaMigratedFrom":"YAML","title":"Layout-Analyse für Tabellen – Zwischenbericht","breaks":true,"description":"Übersichtsfolien Verbund-Treffen Smart-HEC 15.01.2021","slideOptions":"{\"theme\":\"white\",\"slideNumber\":true}","contributors":"[{\"id\":\"c62f1b15-791a-47e1-8e4c-ab2ed00c04bc\",\"add\":13944,\"del\":310}]"}