Das Kontextfenster – Das Kurzzeitgedächtnis der KI
Nordshop Insights · Enterprise Memory
Im letzten Beitrag ging es um Embeddings – also darum, wie eine KI Beziehungen zwischen Begriffen erkennt.
Heute schauen wir uns an, warum eine KI manchmal den Anfang einer Unterhaltung „vergisst“.
Der Grund dafür ist das Kontextfenster.
Man kann es sich wie das Kurzzeitgedächtnis einer KI vorstellen.
Stellen Sie sich vor, Sie sitzen in einem Meeting. Vor Ihnen liegt ein Notizblock mit Platz für 20 Seiten. Alles, was auf diesen Seiten steht, können Sie jederzeit nachlesen und in Ihre Entscheidungen einbeziehen. Kommt jedoch Seite 21 dazu, muss die erste Seite verschwinden. Nicht weil sie unwichtig ist, sondern weil der Platz begrenzt ist.
Genau so arbeitet auch eine KI.
Sie kann immer nur mit den Informationen arbeiten, die sich gerade in ihrem Kontextfenster befinden. Dazu gehören Ihre aktuelle Frage, frühere Nachrichten, hochgeladene Dokumente oder andere Inhalte, die für die Antwort relevant sind. Ist das Fenster voll, müssen ältere Informationen weichen. Das bedeutet nicht, dass die KI sie vergessen hat wie ein Mensch. Sie sind einfach nicht mehr Teil des aktuellen Arbeitsbereichs.
Deshalb kann es passieren, dass eine KI nach einer langen Unterhaltung plötzlich einen wichtigen Zusammenhang nicht mehr berücksichtigt.
Viele glauben, eine KI könne sich unbegrenzt an alles erinnern. Das stimmt nicht.
Sie besitzt zwar enormes Wissen, arbeitet aber immer nur mit einem begrenzten Ausschnitt davon – dem aktuellen Kontext. Deshalb sind gute Prompts oft länger als viele vermuten.
Wenn wichtige Informationen nicht mehr im Kontextfenster stehen, können sie auch nicht mehr in die Antwort einfließen. Dann hilft es, den entscheidenden Zusammenhang noch einmal kurz zusammenzufassen oder erneut bereitzustellen.
Das ist übrigens auch der Grund, warum moderne KI-Systeme häufig Dokumente gezielt nachladen oder relevante Informationen erneut in den Kontext einfügen. Nicht weil die KI etwas „nicht weiß“, sondern weil sie diese Informationen in diesem Moment benötigt.
Merksatz
Das Kontextfenster ist das Kurzzeitgedächtnis der KI. Sie kann nur mit dem arbeiten, was sich gerade darin befindet.
Im nächsten Beitrag geht es um den Prompt.
Denn oft entscheidet nicht die KI über die Qualität einer Antwort – sondern die Art, wie wir unsere Frage stellen.