Stochastische Papageien oder echte Denker? Wie ChatGPT seine Antworten generiert

Die Textgenerierung von Systemen wie ChatGPT beruht auf einem rein wahrscheinlichkeitstheoretischen Mechanismus: der autoregressiven Generierung. Das Modell hat kein inhaltliches Verständnis der Welt, sondern berechnet schlichtweg Token für Token die bedingte Wahrscheinlichkeit für das nächste Zeichen, ausgehend von der gesamten bisherigen Vorgeschichte des Textes.

Landet das Modell auf einer frühen, unglücklichen Wahrscheinlichkeitsspur, summieren sich diese statistischen Entscheidungen auf – das Modell baut dann alle folgenden Textbausteine auf dieser Fehlspur auf. Dieses Phänomen ist die technische Ursache für sogenannte Halluzinationen. Um aus diesem nackten stochastischen Rechner einen nutzbaren, höflichen und sicheren Dialogpartner zu formen, durchlaufen die Modelle nach dem reinen Text-Training ein gezieltes Fine-Tuning. Durch diese Feinabstimmung, die oft an menschliches Feedback gekoppelt ist (RLHF – Reinforcement Learning from Human Feedback), wird das Modell an menschliche Präferenzen und Werte "aligned", ohne dass das statistische Grundprinzip der Token-Vorhersage verändert wird.