Die Atome der KI: Was Token sind und warum sie das kognitive Nadelöhr bilden
Sprachmodelle lesen und schreiben keine Wörter, sondern rechnen in sogenannten Token. Ein Token ist die kleinste semantische Verarbeitungseinheit. Das vorherrschende Verfahren zur Textzerlegung ist das Byte Pair Encoding (BPE). Dieser clevere Algorithmus startet auf Zeichenebene und fusioniert iterativ die statistisch häufigsten benachbarten Symbolpaare zu neuen Subword-Einheiten. Dies ermöglicht es dem System, alltägliche Wörter komplett zu erfassen und seltene oder branchenspezifische Fachbegriffe in sinnvolle Fragmente zu zerlegen, wodurch das Vokabular der Maschine extrem recheneffizient verwaltet wird.
Das absolut kritische Nadelöhr bei der Verarbeitung von Unternehmensdaten bildet das sogenannte Context Window (Kontextfenster). Es limitiert die exakte Anzahl an Token, die ein Modell auf einen Schlag im Arbeitsgedächtnis vorhalten und analysieren kann. Da ein LLM zwischen zwei Interaktionen vollkommen gedächtnislos ist und sich an nichts erinnert, muss bei jeder neuen Anfrage stets der komplette relevante Gesprächs- oder Dokumentenverlauf erneut als Kontext mitgeschickt werden. Ein effizientes Context Engineering – also das systematische Auswählen, Komprimieren und Begrenzen der Informationen, die in dieses Fenster geladen werden – ist daher für Unternehmen wichtiger als die bloße Größe des Modells.
