MMG23 1.06 Prinzipien der Sinneswahrnehmung [p]

### Prinzipien der Sinneswahrnehmung *** #### Wunderwerk Sinne  --- ### Fehleinschätzung der frühen "angewandten KI" - 1970er Jahre, Ziel: eine (1) wahrnehmende und (2) denkende Maschine - Annahme: Phase 1, Wahrnehmung, ist leicht zu implementieren - Jetzt: 50 Jahre später und das "Sommerprojekt" ist noch nicht wirklich abgeschlossen  --- ### Fortschritte bis heute: Erkennung von - gedrucktem Text - Sprache - bewegten Objekten - Gesichtern - aber schon eine Brille kann alles kaputtmachen  --- > Für Menschen ist diese Art von Wahrnehmung kein Problem...: > Die aktuell besten KIs werden heute noch in den meisten Wahrnehmungs-Aufgaben von **Dreijährigen** geschlagen  --- ## Faszination: Alle Sinne - winzige Fluktuationen des Energiemusters an den Sinnesrezeptoren - ⇒ innerhalb von Millisekunden ⇒ - reichhaltiges Wahrnehmungserleben der Welt um uns  --- Wahrnehmung fühlt sich leicht und automatisch an - ist es aber nicht - Transparenzillusion  --- ## 5 Sinne? viel mehr! z.B. Fühlen: zahlreiche völlig unabh. Sinne: - Druck - Temperatur - Oberfläche (Vibration) - etc  --- ## Sehsystem - am besten untersucht - Warum? - einfachere Experimente, als z.B. für das Riechen - Primaten visuell dominiert: Bis zu 80% der Neuronen unserer Großhirnrinde reagieren auf visuelle Stimulation - Gut: Viele grundlegende Operationsprinzipien, die wir aus dem Sehsystem verstanden haben, gelten auch für die anderen Sinne allgemein (Aufbau bestimmter Neuronaler Netze usw)  --- ## Themen heute: 1. Wahrnehmung ist faszinierend 2. Wahrnehmung ist inhärent inferentiell 3. Prinzip der Opponentenprozesse  --- ### Beispiel: RSVP *** #### Rapid Serial Visual Presentation  --- # RSVP 200 ms  --- ![](https://hackmd.io/_uploads/S1C29t_Mj.gif =x999)  --- # RSVP 100 ms  --- ![](https://hackmd.io/_uploads/HkQ65tOMi.gif =x999)  --- ### RSVP Aufgabe: - 10 Bilder pro Sekunde, 100ms pro Bild Erkenntnisse: Obwohl Stimuli so kurz: 1. Man kann die Objekte erkennen! 2. Man kann sich eine Menge davon merken  --- Das bedeutet - zusätzlich schnelles Memory Encoding - erfolgreiches Retrieval und - Übersetzen der Objektbilder in lexikalische Objektnamen  --- > Innerhalb von 100ms kann man aus dem Lichtmuster ein Objekt wahrnehmen und mit einem verbalen Label assoziieren, auch wenn nicht mal Zeit für ein Nachprozessing ist, weil direkt das nächste Bild kommt.  --- Nicht Memory ist hier wichtig sondern die assoziative, erkennende Wahrnehmung (Recognition) BEWEIS: Probe Word  --- # "Haus" # "Flugzeug"  --- ![](https://hackmd.io/_uploads/HkQ65tOMi.gif =x999)  --- - Es geht! - fällt sogar relativ leicht - Performance vielleicht nicht 100%, aber dafür auch kein spürbarer Cognitive Load Es funktioniert sogar, wenn zugleich eine Einordnung in breitere Kategorien erfolgen muss:  --- # "Essen" # "Musikinstrument"  --- ![](https://hackmd.io/_uploads/HkQ65tOMi.gif =x999)  --- Funktioniert auch für: - Objekt-Features: "Dinge oder Wesen die fliegen" - abstraktes Klassifizieren in Fotos und Cartoons zB  --- Fantastisch weil: - so kurze Zeit pro Bild - keine realistischen Objekte, sondern abstrahierte Versionen ohne Details - Keines der konkreten Bilder haben wir je zuvor gesehen, - also kein "Wiedererkennen" eines visuellen Musters  --- > D.h. das visuelle System muss zusätzlich auch noch eine assoziative Pattern Recognition mit Prototypen durchführen.  --- # 50 ms  --- ![](https://hackmd.io/_uploads/S1QT5tOGs.gif =x999)  --- ## RSVP - mit 50ms, also 20 Bilder pro Sekunde - Zielwort (Probe Word): "Musikinstrument"  --- ## Auswertung - schon schwerer - Sehsystem ist nicht beliebig schnell! - Bis 100ms ist es recht leicht  --- > Bisher ist kein Informationsverarbeitungssystem bekannt, dass dies so schnell kann wie das menschliche Gehirn - Kein derzeitiger Supercomputer, keine andere Tierart.  --- #### Aber: *"Attentional Blink"*  --- # Seht Ihr Elon Musk?  --- ![](https://hackmd.io/_uploads/S1QT5tOGs.gif =x999)  --- ##### *"Attentional Blink"* - Aufmerksamkeitsfokus auf Elon Musk führt dazu, dass im Experiment die Bilder unmittelbar *nach* Elon Musk nicht wahrgenommen werden - Sobald das Target der Aufmerksamkeit erscheint, setzen zusätzliche kognitive Prozesse ein - Während eines kurzen Zeitfensters, in dem diese Kognition stattfinden muss, ist der Wahrnehmungsapparat komplett "blind" für alles andere, was direkt vor den offenen Augen geschieht  --- ### AUDITIVE WAHRNEHMUNG *** #### Bsp Sprachverständnis  --- ### Sprachverständnis - mehrere Dutzend Sound Units pro Sekunde - Wahrgenommen werden individuelle Worte - tatsächlich ist Sprache ein kontinuierlicher Stream - Bsp. Wortgrenzen-Detektion in einer unbekannten Fremdsprache problematisch - Kantenparadox, Analogie Sehsystem: Figur-Hintergrund-Grenzen  --- #### Hörsystem: Processing ist... - sehr schnell - direkt im auditiven "Livestream" - Wahrgenommenes wirkt rückwirkend!  --- ### Konsonanten B/P - Druck hinter Lippen, schlagartig Luft entlassen - "gleichzeitig" Stimmbandvokalisation - Unterschied - nicht Härte des Konsonanten - sondern "voice onset time" - P Latenz 15 ms länger als B ! > Solche Timing-Feinheiten analysiert das Ohr Dutzende Male pro Sekunde ohne Unterbrechung  --- ### Fühlen - Nicht nur Druck - Vibration - Explorieren einer Oberflächenstruktur - Bsp.: Wühlen in eine voller Tasche - Vibrationsinfo im Millisekundenbereich!  --- ### Allgemein - Sinne sammeln in Echtzeit eine Flut an sensorischer Inforrmation im ms-Bereich - UND: Unmittelbar wird mit bereits bekannter, gespeicherter Information in Beziehung gesetzt und assoziiert - UND: Kontextinformation wird einbezogen -- Dabei wird durch Aufmeksamkeit Wahrnehmung für relevante Feaures verstärkt (gelb bei Bananenkauf) und andere Information weggefiltert (Autofahren)  --- ### Perzeptionsprozess ist - massiv - komplex - flexibel - automatisch - interaktiv - präzise - in jedem wachen Moment  --- #### Wie kann das erreicht werden? - Ein Schlüsselkonzept: **Inferenz** - Wohlinformierte Vermutungen über die Umgebung, basierend auf Sinnesinformation - Was wir "wahr nehmen", sind diese Vermutungen/Inferenzen, NICHT die ursprüngliche Sinnesinformation! - Sinne sind **"perzeptuell intelligent"** - weil die Inferenzen so gut sind, macht das die Sinne so faszinierend  --- ### Inferenz ist kein "kognitiver" Prozess. Inferenz = - Automatisch - Unbewusst - schnell - basiert auf komplexer Integration verschiedener Informationsquellen - passiert nicht erst auf höheren kognitiven Ebenen, sondern schon ab direkt an den Sinnesorganen selbst (Bsp Hörbahn)  --- ### Filling-In-Prozesse - Bsp. f. automatische, unbewusste Inferenz - Bsp. Retina und Blind Spot - Versuch mit Stift/Papier - Zwei Punkte, rechte Hand, rechtes Auge, linkes zu, linken Punkt fixieren - Analogie JPG und Fax - Obwohl der Punkt noch da ist, macht Retina eine Inferenz - am wahrscheinlichsten - Veridikales Vorwissen: Punkt da, bringt nichts - Inferenz schon auf Retina!  --- ### Erste Unterschiede Auge - Ohr: - Hören: kognitive Inferenz oft stärker als sensorische Interpretation - Sehen oft umgekehrt  --- ### Filling-In-Prozesse *Retina und Blind Spot - Fortsetzung* - Ca. 1 Million Axone treten aus den Photorezeptoren in den Sehnerv (im Blinden Fleck); Sehnerv wiederum 1 Million Neurone - nicht blind, sondern "gut geraten": - Nicht schwarz, sondern imitiert Umgebungsinfo - Experiment: mit anderen Hintrgrundfarben - Experiment: mit delikatem Streifen- oder Karomuster hinter dem Punkt  ---- - Retina übrigens auch "blind" überall dort, wo retinale Venen verlaufen ---- ### Bsp. Pathologie: Macula-Degeneration - beginnt in der Mitte und breitet sich langsam nach außen aus - wird aber meist anfangs gar nicht bemerkt - erst wenn schon recht weit fortgeschritten - bis dahin Filling-In Umgekehrt: Retinitis Pigmentosa - beginnt peripher und wandert dann nach innen - bleibt oft über Jahre unbemerkt  --- ### Opponenten-Prozesse *** #### ein dynamisches Grundprinzip des Gehirns  --- ### Opponenten-Prozesse *** - Ständiger Wettbewerb um Ressourcen - dynamische neuronale Gleichgewichte nicht durch gemeinsames Aktivieren, sondern durch gegenseitiges Ausbremsen  --- #### Grundprinzip auf Mikro- und Makroebenen: - Laterale Inhibition - Plastizität von Arealen und Repräsentationen - Handlungssteuerung als Gleichgewicht aus Impulsen und Hemmungen  --- #### Laterale Inhibition ![Abb](http://faculty.kutztown.edu/rryan/classes/cog/resources/Lateral_inhibition/Lateral_Inhibition_for_web/slide3.jpg)  --- #### Plastizität von Arealen und Repräsentationen ![alttext][pictag] [pictag]: https://www.researchgate.net/profile/Paul_Van_Donkelaar/publication/14600319/figure/fig1/AS:401277285617664@1472683368586/Figure-J-A-Map-of-a-portion-of-the-somatosensory-cortex-in-an-adult-owl-monkey-showing.png  --- #### Plastizität von Arealen und Repräsentationen ![alttext][pictag] [pictag]: https://i1.wp.com/images.theconversation.com/files/291807/original/file-20190910-190012-179d9d9.jpg?w=1110&ssl=1  --- #### Plastizität von Arealen und Repräsentationen ![](https://www.researchgate.net/profile/Gabriel_Gutierrez-Ospina/publication/260592301/figure/download/fig1/AS:296928626659329@1447804709540/Intermdodal-plasticity-in-the-brain-of-blind-individuals-At-the-cortical-level.png =x700)  --- #### Handlungssteuerung als Gleichgewicht aus Impulsen und Hemmungen ![alttext](https://www.researchgate.net/profile/Leon_Tremblay/publication/273632985/figure/fig3/AS:271655004012554@1441779008297/Multiple-levels-of-inhibitory-control-inside-the-basal-ganglia-and-the-recent.png =x800)  ---- #### Handlungssteuerung als Gleichgewicht aus Impulsen und Hemmungen ![alttext](https://www.cell.com/cms/attachment/580996/4371654/gr2.jpg =x700)  --- ### Take Home Unsere Sinne sind - Bandbreiten**höchstleister** - **intelligent** vor jeder Kognition  --- [EoT]  ---  --- --- ![](https://hackmd.io/_uploads/SkA35tuMj.gif) ![](https://hackmd.io/_uploads/S1QT5tOGs.gif) ![](https://hackmd.io/_uploads/HkR3qK_zs.gif) ![](https://hackmd.io/_uploads/rJX3qtdMj.gif) XXX ![](images/slide045.jpg)