Manche Gedanken entstehen am Schreibtisch.

Andere beim Spaziergang, unter der Dusche oder nachts um halb drei, wenn man eigentlich schlafen sollte und das Gehirn stattdessen beschließt, die vollständige Existenz noch einmal neu zu sortieren.

Dieser Gedanke entstand bei mir während einer Rauchpause.

Ich stand also draußen, zog an meiner Zigarette und dachte über künstliche Intelligenz nach – wie normale Menschen das eben tun, wenn sie kurz frische Luft schnappen und diese anschließend sofort wieder mit Rauch sabotieren.

Plötzlich kam mir ein Satz in den Kopf:

KI ist ein sprachliches Wahrscheinlichkeitsorakel.

Ich fand das überraschend treffend.

Man stellt eine Frage, das Orakel rechnet kurz, blickt bedeutungsschwer in den mathematischen Nebel und verkündet anschließend eine Antwort.

Manchmal ist sie erstaunlich hilfreich.

Manchmal ist sie brillant.

Und manchmal erklärt sie mit der Autorität eines antiken Hohepriesters, warum ein Programm einen Befehl unterstützt, den es überhaupt nicht gibt.

Doch kaum hatte ich mich über meine neue Definition gefreut, kam mir ein zweiter, etwas unangenehmerer Gedanke:

Macht mein Gehirn beim Reden mit anderen Menschen nicht ebenfalls ständig Vorhersagen?

Vielleicht bin ich also gar nicht so weit vom Wahrscheinlichkeitsorakel entfernt.

Vielleicht bin ich nur die biologische Variante – mit Kaffee, Nikotin und einer erstaunlich großen Sammlung unnötiger Erinnerungen.

Das Orakel würfelt nicht einfach Wörter zusammen

Zunächst muss ich meine schöne Formulierung leider ein kleines Stück kaputtmachen.

Ein modernes Sprachmodell ist nicht bloß ein digitaler Würfelbecher, aus dem zufällig Wörter herausfallen.

Solche Modelle werden in ihrem grundlegenden Training zwar tatsächlich darauf optimiert, aus einem vorhandenen Kontext das nächste sprachliche Element vorherzusagen. Dabei geht es meist nicht unmittelbar um ganze Wörter, sondern um sogenannte Tokens. Das können Wörter, Wortteile, Satzzeichen oder andere Textbausteine sein.

Das Modell bekommt beispielsweise einen Anfang wie:

„Der Linux-Nutzer wollte nur kurz …“

Nun berechnet es Wahrscheinlichkeiten für mögliche Fortsetzungen.

Vielleicht:

  • ein Update installieren,
  • den Desktop ausprobieren,
  • eine Konfigurationsdatei ändern,
  • schlafen gehen.

Wobei wir alle wissen, dass „schlafen gehen“ in diesem Kontext statistisch sofort aussortiert werden kann.

Aus sehr vielen solcher Vorhersageaufgaben lernt ein großes Sprachmodell nicht nur einzelne Wortfolgen. Es erfasst dabei auch Grammatik, Schreibstile, begriffliche Zusammenhänge und zahlreiche Strukturen, die in seinen Trainingsdaten vorkommen.

Deshalb ist auch die oft verwendete Beschreibung „nur eine sehr große Autovervollständigung“ zwar nicht völlig falsch, aber ziemlich irreführend.

Ein Flugzeug ist schließlich auch nur eine sehr große Ansammlung bewegter Luft. Trotzdem würde ich mich ungern mit einem Laubbläser nach Mallorca schießen lassen.

Das Gehirn wartet nicht geduldig auf das Satzende

Nun zum biologischen Wahrscheinlichkeitsorakel.

Wenn wir einem Menschen zuhören, verarbeitet unser Gehirn nicht einfach nacheinander jedes Wort und beginnt erst nach dem Punkt damit, den Satz zu verstehen.

Es nutzt das bereits Gesagte, die Situation, unsere Erfahrungen und unser Wissen über das Gegenüber, um Erwartungen darüber zu bilden, was wahrscheinlich folgen wird.

Hört man beispielsweise:

„Zum Frühstück trinkt er seinen Kaffee mit Milch und …“

dann sind Fortsetzungen wie „Zucker“ oder vielleicht „Haferdrink“ relativ naheliegend.

Endet der Satz dagegen mit:

„… einem mittelgroßen Schraubenschlüssel“,

ist das Gehirn kurz beschäftigt.

Nicht, weil der Satz grammatikalisch falsch wäre. Sondern weil das letzte Wort nicht gut zu der Bedeutung passt, die wir bis dahin erwartet haben.

Solche Reaktionen lassen sich sogar in der elektrischen Aktivität des Gehirns beobachten. Besonders bekannt ist dabei die sogenannte N400: eine messbare Reaktion, die unter anderem stärker ausfällt, wenn ein Wort semantisch unerwartet oder schwerer in den bisherigen Zusammenhang einzubauen ist. Sie tritt ungefähr 400 Millisekunden nach dem betreffenden Reiz auf.

Mein Gehirn besitzt also tatsächlich eine Art eingebauten:

„Moment mal, das war so nicht vorgesehen“-Alarm.

Bei mir arbeitet er zuverlässig bei Sätzen wie:

„Das Linux-Update dauert höchstens fünf Minuten.“

Oder:

„Wir müssen reden.“

Bei letzterem hat das Gehirn bereits vor dem nächsten Satz mehrere vollständige Katastrophenszenarien simuliert:

  • Ich habe etwas vergessen.
  • Ich habe etwas Falsches gesagt.
  • Es gibt ein Problem.
  • Ich werde verlassen.
  • Ich werde gekündigt.
  • Die Kaffeemaschine ist kaputt.

Dann sagt die andere Person:

„Wir müssen darüber reden, was wir heute essen.“

Danke, Gehirn. Sehr hilfreiche Vorarbeit.

Das Gehirn sagt nicht nur einzelne Wörter voraus

Die menschliche Vorhersage scheint außerdem nicht ausschließlich auf dem Niveau des nächsten Wortes stattzufinden.

Neurowissenschaftliche Untersuchungen sprechen dafür, dass das Gehirn sprachliche Informationen hierarchisch verarbeitet: Einige Bereiche reagieren stärker auf eher lokale sprachliche Strukturen, während andere längerfristige Bedeutungszusammenhänge und weiter entfernte Entwicklungen berücksichtigen.

Das würde zu unserer Alltagserfahrung passen.

Wenn jemand sagt:

„Ich habe gestern übrigens deine Nachricht gesehen …“

dann versucht unser Gehirn nicht nur, das unmittelbar nächste Wort vorherzusagen.

Es berechnet gleich den wahrscheinlichen Verlauf des kompletten Gesprächs.

War die Nachricht peinlich?

War sie missverständlich?

Habe ich zu viele Ausrufezeichen benutzt?

War das Smiley freundlich oder passiv-aggressiv?

Warum habe ich überhaupt geschrieben?

Kann ich noch auswandern?

Während das Gegenüber noch Luft holt, hat der Kopf bereits drei Antworten formuliert, zwei Verteidigungsreden vorbereitet und einen neuen Namen für das Leben in Kanada ausgesucht.

Das ist allerdings nicht dasselbe wie eine vollständig bewusste Simulation. Häufig entstehen solche Erwartungen schnell und unbewusst. Wir erleben sie vor allem dann deutlich, wenn etwas anders kommt als gedacht.

Unser Gehirn präsentiert uns also nicht ständig eine sauber sortierte Auswahlliste möglicher nächster Sätze.

Schade eigentlich. Ein kleines eingebautes Menü mit:

Mögliche Antworten:

A) Das war nicht so gemeint.
B) Dafür gibt es eine völlig vernünftige Erklärung.
C) Kernel-Panik vortäuschen und Gespräch verlassen.

wäre im Alltag durchaus hilfreich.

Das Gehirn als Vorhersagemaschine – aber mit Fußnote

In der Hirnforschung gibt es einen einflussreichen Ansatz, der häufig als Predictive Processing oder Predictive Coding bezeichnet wird.

Vereinfacht gesagt beschreibt dieser Ansatz das Gehirn nicht als passiven Empfänger von Sinneseindrücken. Stattdessen bilde es fortlaufend Erwartungen über die Welt und vergleiche diese mit den tatsächlich eintreffenden Informationen.

Stimmen Erwartung und Wirklichkeit nicht überein, entsteht ein Vorhersagefehler. Dieser kann dazu führen, dass das Gehirn seine interne Einschätzung anpasst.

Das klingt zunächst sehr elegant:

Gehirn sagt Welt voraus.
Welt widerspricht.
Gehirn lernt hoffentlich daraus.

Bei Menschen gibt es allerdings noch einen möglichen vierten Schritt:

Gehirn erklärt, warum eigentlich die Welt falschliegt.

Predictive Processing ist ein bedeutender und gut erforschter theoretischer Rahmen. Es wäre aber unseriös, daraus zu machen:

„Die Wissenschaft hat endgültig bewiesen, dass das komplette Gehirn nur ein großer Vorhersagecomputer ist.“

So einfach ist es nicht.

Unter dem Begriff werden unterschiedliche Modelle zusammengefasst, und viele Details darüber, wie umfassend diese Erklärung auf das Gehirn anwendbar ist, werden weiterhin untersucht und diskutiert. Meta-Analysen finden zwar Hinweise auf gemeinsame Mechanismen, zeigen aber zugleich, dass das Forschungsfeld komplexer ist als ein einzelnes hübsches Schaubild mit Pfeilen.

Die ehrliche Formulierung lautet daher:

Vorhersagen spielen bei Wahrnehmung und Sprachverarbeitung eine wichtige Rolle. Sie sind aber nicht automatisch die vollständige Erklärung des menschlichen Denkens.

Weniger knackig als „Das Gehirn ist ein Fleisch-Chatbot“, dafür deutlich weniger Unsinn.

Mein Gehirn kennt leider auch Halluzinationen

Sprachmodelle können falsche Aussagen erzeugen, die sprachlich plausibel und ausgesprochen selbstbewusst klingen.

Das wird häufig als Halluzination bezeichnet.

Das Modell hat dabei nicht zwangsläufig einen eingebauten kleinen Lügner, der sich die Hände reibt und denkt:

„Jetzt erfinde ich Kiru eine Paketoption. Das wird lustig.“

Es erzeugt vielmehr eine Fortsetzung, die zu den gelernten Mustern und dem aktuellen Kontext passt. Plausibel klingend ist aber nicht automatisch wahr.

OpenAI beschreibt als einen Grund dafür, dass das grundlegende Training von Sprachmodellen auf Vorhersage beruht und Modelle in vielen Bewertungssituationen eher fürs Raten als fürs ehrliche Eingestehen von Unsicherheit belohnt werden können.

An dieser Stelle wäre es allerdings etwas arrogant, so zu tun, als sei selbstbewusst vorgetragener Unsinn eine neue Erfindung der künstlichen Intelligenz.

Das menschliche Gehirn ist darin ebenfalls bemerkenswert begabt.

Ein Kollege grüßt morgens nicht.

Mein Gehirn:

„Er ist sauer auf mich.“

Vielleicht war er müde.

Vielleicht hat er mich nicht gesehen.

Vielleicht dachte er gerade darüber nach, ob das Licht im Kühlschrank ausgeht.

Doch das Gehirn wartet ungern auf zusätzliche Daten. Es nimmt drei Informationskrümel, klebt sie mit Erfahrung und Unsicherheit zusammen und produziert daraus eine komplette Serie mit acht Staffeln.

Oder jemand antwortet in einer Nachricht nur:

„Okay.“

Das Gehirn könnte nüchtern feststellen:

„Die Person hat den Inhalt verstanden.“

Stattdessen entscheidet es sich für:

„Diese Beziehung ist beendet. Wir sollten unsere Identität wechseln und in den Bergen leben.“

Menschen halluzinieren natürlich nicht auf exakt dieselbe technische Weise wie ein Sprachmodell. Aber wir ergänzen ebenfalls Lücken, rekonstruieren Erinnerungen und interpretieren mehr in Situationen hinein, als die vorhandenen Daten tatsächlich hergeben.

Der Unterschied ist manchmal hauptsächlich, dass die KI ihre erfundene Geschichte in zwei Sekunden ausgibt, während ich meine mehrere Stunden lang still im Kopf weiterentwickle.

Wir sind trotzdem keine Chatbots aus Fleisch

An dieser Stelle müssen wir die Analogie dringend wieder einfangen, bevor sie barfuß über die wissenschaftliche Autobahn läuft.

Dass sowohl menschliche Sprachverarbeitung als auch Sprachmodelle Vorhersagen nutzen, bedeutet nicht, dass beide Systeme dasselbe sind.

Ein Mensch besitzt einen Körper.

Er sieht, hört, riecht, fühlt Schmerzen, wird hungrig, ist müde und reagiert auf seine Umwelt. Seine Sprache ist mit persönlichen Erfahrungen, sozialen Beziehungen, Bedürfnissen und Handlungen verbunden.

Wenn ich sage:

„Ich brauche Kaffee“,

dann ist das nicht nur eine statistisch passende Wortfolge.

Es ist ein biologischer Notruf.

Ein Sprachmodell kann über den Geschmack von Kaffee schreiben, verschiedene Sorten vergleichen und sehr überzeugend beschreiben, wie beruhigend eine warme Tasse am Morgen wirkt.

Es hat aber nicht verschlafen vor der Maschine gestanden und vergessen, eine Tasse darunterzustellen.

Es besitzt keine Kindheitserinnerung, keinen Körper und keine durchlebte Biografie in dem Sinne, in dem Menschen sie besitzen.

Ein Sprachmodell erzeugt Antworten auf Basis seines Trainings, seines aktuellen Kontexts und seiner technischen Verarbeitung. Ein Mensch spricht aus einem lebendigen System heraus, das Wahrnehmung, Gedächtnis, Gefühle, Bedürfnisse und eigene Ziele miteinander verbindet.

Man könnte es so sagen:

Mensch und KI nutzen beide Wahrscheinlichkeiten. Aber nur einer von beiden kann sich beim Nachdenken den kleinen Zeh am Tischbein brechen.

Bislang zumindest.

Auch Menschen vervollständigen Sätze – nur persönlicher

Trotz aller Unterschiede bleibt der Vergleich faszinierend.

Je besser wir einen Menschen kennen, desto besser können wir häufig einschätzen, was er sagen wird.

Wenn jemand zu mir sagt:

„Ich habe eine neue Linux-Distribution gesehen …“

dann könnte eine Person, die mich gut kennt, den Rest vermutlich bereits ergänzen:

„… und ich will sie nur ganz kurz ausprobieren.“

Wobei „ganz kurz“ in diesem Zusammenhang eine Zeitspanne zwischen zwei Stunden und einer vollständigen Neuinstallation bezeichnet.

Unser Wissen über andere Menschen funktioniert dabei wie ein persönlicher Kontext.

Wir kennen typische Formulierungen, Reaktionen, Vorlieben und Gewohnheiten. Daraus bilden wir Erwartungen.

Bei einer fremden Person bleibt die Auswahl möglicher Fortsetzungen groß.

Bei einem engen Freund ist sie deutlich kleiner.

Bei mir und dem Satz „Ich habe da eine neue Projektidee“ lautet die wahrscheinlichste Fortsetzung dagegen:

„Die Domain ist noch frei.“

Sprache ist eben nie nur eine isolierte Folge von Wörtern. Sie hängt davon ab, wer spricht, in welcher Situation gesprochen wird und welche gemeinsame Vorgeschichte existiert.

Ein Sprachmodell erhält seinen Zusammenhang vor allem durch den Text und weitere bereitgestellte Informationen.

Ein Mensch trägt seinen Kontext körperlich und biografisch mit sich herum – inklusive sämtlicher Erinnerungen, die das Gehirn dringend hätte löschen können, sich aber stattdessen für den Namen eines Pokémon aus dem Jahr 1999 entschieden hat.

Warum aus Wahrscheinlichkeit trotzdem etwas Neues entstehen kann

Ein häufiger Einwand lautet:

„Wenn eine KI nur Wahrscheinlichkeiten berechnet, kann sie doch nichts wirklich Neues erzeugen.“

Das klingt zunächst logisch, greift aber zu kurz.

Auch aus bekannten Elementen können neue Kombinationen entstehen.

Ein Koch erfindet kein neues Atom, wenn er ein Rezept entwickelt. Ein Musiker erzeugt keine neuen physikalischen Schwingungen. Ein Autor erfindet keine neuen Buchstaben.

Neuheit entsteht häufig dadurch, dass vorhandene Bausteine ungewöhnlich verbunden werden.

Sprachmodelle können auf ähnliche Weise Texte erzeugen, die in genau dieser Form vorher nicht existiert haben. Trotzdem stammen die dabei erlernten Strukturen aus vorhandenen Daten.

Beim Menschen ist Kreativität ebenfalls kein magischer Download aus einer anderen Dimension. Sie baut auf Erfahrungen, Wahrnehmungen, Erinnerungen und bereits kennengelernten Ideen auf.

Doch auch hier gilt wieder: ähnliche Prinzipien bedeuten keine Gleichheit.

Menschliche Kreativität ist mit Absichten, Bedürfnissen, Emotionen und einem persönlichen Verhältnis zum Ergebnis verbunden.

Ich schreibe einen Blogartikel, weil ich einen Gedanken interessant finde, andere zum Schmunzeln bringen möchte und offenbar nicht in der Lage bin, einen Satz während einer Rauchpause einfach wieder gehen zu lassen.

Das Sprachmodell hilft mir, diesen Gedanken auszuarbeiten.

Es sitzt danach aber nicht stolz vor der veröffentlichten Seite und aktualisiert alle fünf Minuten die Besucherstatistik.

Das übernehme weiterhin ich.

Das Wahrscheinlichkeitsorakel braucht Aufsicht

Die Bezeichnung „sprachliches Wahrscheinlichkeitsorakel“ gefällt mir weiterhin.

Nicht als vollständige technische Definition.

Dafür fehlen ungefähr zwölf Studiengänge, mehrere Bücher und eine Tafel, auf die jemand komplizierte Formeln schreibt.

Aber als Bild funktioniert sie.

Ein Sprachmodell erzeugt aus vorhandenem Kontext eine wahrscheinliche sprachliche Fortsetzung. Dadurch kann es erklären, zusammenfassen, übersetzen, programmieren und beim Schreiben helfen.

Es kann aber auch eine Antwort erzeugen, die nur so aussieht, als wäre sie richtig.

Das Orakel braucht deshalb jemanden, der gelegentlich nachfragt:

„Bist du sicher?“

Und dann noch einmal:

„Nein, wirklich sicher?“

Und anschließend sicherheitshalber selbst in die Dokumentation schaut.

Menschen brauchen diese Kontrolle übrigens ebenfalls.

Wir nennen sie nur ungern so.

Bei uns heißt sie:

  • noch einmal nachdenken,
  • jemanden fragen,
  • die Quelle prüfen,
  • oder nach zwanzig Minuten feststellen, dass die Person mit ihrem „Okay“ tatsächlich einfach nur „Okay“ meinte.

Vielleicht verstehen wir KI besser, wenn wir uns selbst nicht überschätzen

Die interessanteste Erkenntnis meines Rauchpausen-Gedankens ist für mich deshalb gar nicht, dass KI dem menschlichen Gehirn ähnelt.

Es ist vielmehr die Erkenntnis, wie viel Wahrscheinlichkeitsarbeit auch in unserem eigenen Alltag steckt.

Wir sagen voraus, was Menschen meinen.

Wir ergänzen Sätze.

Wir erwarten bestimmte Reaktionen.

Wir erkennen Muster.

Wir irren uns.

Und wir können aus sehr wenigen Informationen beeindruckend große Mengen Unsinn erzeugen.

In dieser Hinsicht haben Mensch und Maschine vielleicht tatsächlich eine gewisse Familienähnlichkeit.

Der Unterschied besteht darin, dass der Mensch seine Vorhersagen in einen Körper, eine Lebensgeschichte und eine reale Umwelt einbettet.

Die KI tut dies auf ihre technische Weise mit Daten, Modellen und mathematischen Wahrscheinlichkeiten.

Beide versuchen, aus unvollständigen Informationen das wahrscheinlichste nächste Stück Welt zusammenzusetzen.

Manchmal treffen sie.

Manchmal liegen sie daneben.

Und manchmal entsteht während einer Rauchpause ein Blogartikel daraus.

Fazit: Das Orakel spricht – aber bitte mit Quellenangabe

Ist künstliche Intelligenz also wirklich nur ein sprachliches Wahrscheinlichkeitsorakel?

Nein.

Zumindest nicht, wenn „nur“ bedeuten soll, dass dahinter nichts weiter als zufällige Wortwürfe stecken.

Als bewusst vereinfachte Metapher trifft der Satz aber einen wichtigen Teil moderner Sprachmodelle: Sie erzeugen Sprache, indem sie auf Basis ihres Kontexts Wahrscheinlichkeiten für mögliche Fortsetzungen berechnen.

Und arbeitet auch das menschliche Gehirn mit Vorhersagen?

Ja, offenbar sehr deutlich.

Beim Verstehen von Sprache bildet es Erwartungen, reagiert auf überraschende Wörter und nutzt Kontext, Erfahrung und Bedeutung, um das Kommende einzuordnen.

Aber daraus folgt nicht, dass ein Gehirn und ein Sprachmodell dasselbe sind.

Das Gehirn ist kein Chatbot aus Fleisch.

Und ein Sprachmodell ist kein digitaler Mensch, der zufällig in einem Rechenzentrum wohnt.

Vielleicht lautet die ehrlichste Zusammenfassung deshalb:

KI ist ein sprachliches Wahrscheinlichkeitsorakel.
Der Mensch ist ein biologisches Wahrscheinlichkeitsorakel mit Körper, Gefühlen und der Fähigkeit, ein neutrales „Okay“ persönlich zu nehmen.

Damit kann ich leben.

Vorausgesetzt, mein Gehirn interpretiert das jetzt nicht wieder völlig falsch.

Quellen und weiterführende Literatur

Tags: #ChatGPT #Denken #Gedankenbrei #Gehirn #Halluzinationen #Kaffee #KI #Künstliche Intelligenz #Predictive Processing #Sprache #Sprachmodelle #Wahrscheinlichkeiten