© Christian Kielmann
Hören oder Lesen?: Ein Blick ins Gehirn zeigt, wann mehr vom Text hängen bleibt
Die Informatikerin Fatma Deniz erforscht an der TU Berlin, wie Sprache vom Gehirn verarbeitet wird. Ihre Studien zum Unterschied von Hören und Lesen zeigen überraschende Ergebnisse.
Das Kind lauscht schon dem dritten Hörspiel in Folge. Zur Abwechslung mal zu einem Buch greifen? Keine Lust. Viele Kinder und Jugendliche hören sich heute lieber etwas an, als zu lesen. Ein Grund zur Sorge für die Eltern? „Nein, erst mal nicht“, sagt Fatma Deniz, Professorin am Fachgebiet Sprache und Kommunikation in Biologischen und Künstlichen Systemen an der Technischen Universität Berlin (TU).
„Wir haben festgestellt, dass gehörte und gelesene Informationen im Gehirn an den gleichen Stellen und auf sehr ähnliche Weise repräsentiert werden.“ Allenfalls wenn es darum geht, Rechtschreibung zu lernen, habe das Lesen Vorteile.
Fatma Deniz arbeitet an der Schnittstelle von Neurowissenschaften und Informatik. Um den Unterschied zwischen Hören und Lesen zu untersuchen, hat sie Menschen in Magnetresonanztomografie (MRT) untersucht. Neun Proband:innen hörten über Kopfhörer zehn Minuten einer US-amerikanische Radiosendung, bei der Menschen persönliche Geschichten erzählten. Zudem lasen sie diese auch als Text, der von außen in die Röhre projiziert wurde. Währenddessen erfassten die Wissenschaftler ihre Gehirnaktivitäten und stellten fest: Für die Verarbeitung der Bedeutung der Wörter und Sätze im Gehirn macht es keinen Unterschied, ob sie gelesen oder gehört wurden.
In einer gerade in der Fachzeitschrift „Nature Communications Biology“ erschienenen Studie, in der Deniz und ihre Kollegen die Daten noch einmal differenzierter im Hinblick auf zeitliche Spannen von Bedeutung analysierten, hat sich dies erneut bestätigt.
Die Erkenntnisse sind auch für Legastheniker interessant. Kinder, die Schwierigkeiten mit dem Lesen haben, könnten im Unterricht davon profitieren, wenn Geschichten im Klassenzimmer auch in Audioformaten zugänglich sind.
Den Unterschied macht die Konzentration
Theoretisch kann man Deniz’ Befunden zufolge über das Hören also genauso gut Sprache verarbeiten wie über das Lesen. Voraussetzung ist dabei jedoch, dass man sich auf beides gleich gut konzentriert. Menschen, die einem Hörbuch lauschen, beschäftigen sich jedoch häufig parallel noch mit anderen Aktivitäten, die beim Lesen eines Buches schlicht nicht möglich sind. Sie putzen die Wohnung, räumen auf oder sprechen zwischendurch mit anderen. Wird die Aufmerksamkeit zwischen zwei Tätigkeiten geteilt, kann die Informationsverarbeitung schlechter sein.
© Fatma Deniz
Die Ergebnisse der Daten aus dem MRT visualisierten Deniz und ihre Kolleg:innen in semantischen 3D-Karten des Gehirns. Die zwei Gehirnkarten für das Lesen und Hören waren praktisch identisch. Hier konnten sie auch sehen: Verschiedene Hirnareale verarbeiten unterschiedliche Arten von Wörtern. Die Wissenschaftler:innen speisten die Daten in ein Computerprogramm ein und ordneten die Bedeutung der Wörter aus den Geschichten mithilfe von Künstlicher Intelligenz (KI) Gehirnarealen zu. So zeigte sich, dass ein Gehirnareal beispielsweise vor allem auf soziale Wörter wie „Vater“ oder „verheiratet“ reagiert, ein anderer überwiegend auf die Namen von Körperteilen.
In der Vergangenheit präsentierten Forschende ihren Probanden vor allem einzelne Worte und Sätze und sahen sich an, wo sie im Gehirn Aktivität auslösen. Das widerspricht jedoch natürlichen Situationen im Alltag, in denen Sprache immer in einen Kontext eingebettet ist. So wusste man zwar auch: Bei der Wahrnehmung von Gesichtern oder Objekten springen immer bestimmte Bereiche im Gehirn an. „Je nach genauem Kontext kommen jedoch noch viele andere Bereiche hinzu“, sagt Deniz. „Unsere Sprachwahrnehmung und die Art und Weise, wie das menschliche Gehirn Informationen verarbeitet, sind offensichtlich stark vom Kontext abhängig.“
Die Erkenntnisse können zum Beispiel für Schlaganfallpatienten hilfreich sein, die ihr Sprachvermögen verloren haben. Die US-Forscher Jerry Tang und Alexander Huth von der Universität Texas in Austin konnten bereits mit Gehirnscans undhilfe von KI grob ablesen, was ein Mensch sagen will. Sie entwickelten einen Decoder, der den Inhalt von Geschichten erkennen konnte, die Personen im MRT gerade hörten oder sich vorstellten. Noch mehr fasziniert, was einem Team um Edward Chang von der University of California in San Francisco gelang. Über einen digitalen Avatar konnte eine Schlaganfallpatientin, die ihre Sprache verloren hatte, wieder kommunizieren – indem dieser ihre Hirnaktivitäten in Worte und Sätze umwandelte.