Die Architektur der Sprache: Was ein Large Language Model (LLM) ausmacht

Ein Large Language Model (LLM) bildet das technologische Herzstück der modernen generativen Text-KI. Modelle wie GPT-3 oder GPT-4 fungieren als sogenannte Foundation Models: Sie werden auf Basis von gewaltigen Textkorpora mit teilweise hunderten Milliarden Tokens vortrainiert und bilden damit ein massives, universelles Fundament für unzählige spezialisierte Anwendungen.

Technologisch basieren diese modernen Sprachmodelle nahezu vollständig auf der 2017 vorgestellten Transformer-Architektur. Der revolutionäre Kern dieser Architektur ist der sogenannte Attention-Mechanismus (Selbstaufmerksamkeit). Dieser erlaubt es dem Modell, während der Verarbeitung eines Satzes die Relevanz jedes Wortes in Bezug auf alle anderen Wörter im Kontext zu bewerten. Anders als bei klassischen Ansätzen, die einen Text streng sequenziell lesen müssen, kann ein Transformer die semantischen Beziehungen parallel berechnen und dadurch ein weitaus tieferes Sprachverständnis entwickeln. GPT-Modelle setzen dabei spezifisch auf eine sogenannte Decoder-Only-Architektur: Sie verzichten auf einen vorgeschalteten Encoder und nutzen rein autoregressive Vorhersagen, basierend auf dem vorherigen Kontext.