Kontext / Kontextfenster

Kurz erklärt

Der Kontext ist die Gesamtheit der Informationen, die ein Sprachmodell bei einer konkreten Anfrage berücksichtigen kann. Das Kontextfenster begrenzt, wie viel davon gleichzeitig hineinpasst.

Was gehört zum Kontext?

Je nach Anwendung kann der Kontext enthalten:

den System Prompt,
die aktuelle Nutzereingabe,
Teile des bisherigen Gesprächs,
hochgeladene Dokumente oder gefundene Textstellen,
Ergebnisse von Tools,
und bereits erzeugte Teile der Antwort.

Das Modell kann nur mit Informationen arbeiten, die in seinen trainierten Mustern oder im aktuellen Kontext verfügbar sind. Der Kontext ist daher eine Art begrenzter Arbeitsbereich, nicht automatisch ein dauerhaftes Gedächtnis.

Wie wird das Kontextfenster gemessen?

Seine Größe wird gewöhnlich in Tokens angegeben. Alle Bestandteile teilen sich dieses Budget.

Systemanweisung
+ Gesprächsverlauf
+ aktuelle Frage
+ Dokumentauszüge
+ Tool-Ergebnisse
+ erzeugte Antwort
= belegtes Kontextfenster

Ist der Inhalt zu groß, muss die Anwendung Informationen auswählen, ältere Teile weglassen, zusammenfassen oder auf mehrere Verarbeitungsschritte verteilen.

Konkretes Beispiel

Eine Mitarbeiterin lädt ein 200-seitiges Konvolut hoch und fragt nach allen Verpflichtungen einer bestimmten Abteilung. Das vollständige Dokument könnte das Kontextfenster überfüllen. Ein RAG-System sucht deshalb zunächst relevante Abschnitte und stellt nur diese zusammen mit der Frage bereit.

Das spart Platz, birgt aber eine neue Fehlerquelle: Wenn die Suche einen entscheidenden Abschnitt nicht findet, kann das Modell ihn auch nicht berücksichtigen.

Langes Kontextfenster ist nicht dasselbe wie gutes Gedächtnis

Ein größeres Fenster kann mehr Text aufnehmen, garantiert aber nicht, dass jede Einzelheit gleich zuverlässig genutzt wird. Relevanz, Position, Widersprüche und die Art der Aufgabe beeinflussen die Verarbeitung. Eine sorgfältige Auswahl und Strukturierung bleibt wichtig.

Auch dauerhafte, außerhalb eines Gesprächs gespeicherte Informationen sind etwas anderes. Eine Anwendung kann ein Gedächtnis oder Benutzerprofil führen und daraus bei Bedarf Inhalte in den aktuellen Kontext laden.

Warum ist das wichtig?

Das Kontextfenster erklärt viele Beobachtungen im Alltag:

Frühere Gesprächsinhalte können bei langen Chats verloren gehen.
Sehr große Dokumentmengen müssen aufbereitet werden.
Lange Eingaben benötigen mehr Rechenzeit und möglicherweise mehr Kosten.
Nicht jede verfügbare Information gehört automatisch in jede Anfrage.

Zusammenhang mit anderen KI-Begriffen

Tokens sind die Einheiten des Kontextbudgets.
RAG wählt relevante Informationen für den Kontext aus.
Chunking teilt lange Dokumente in handhabbare Abschnitte.
Ein Prompt beansprucht selbst einen Teil des Fensters.

Typisches Missverständnis

Missverständnis: Alles, was irgendwann im Chat stand, bleibt der KI dauerhaft bekannt.

Eine Anwendung kann ältere Inhalte verwalten oder speichern. Das Sprachmodell selbst verarbeitet bei einer Anfrage jedoch nur den jeweils bereitgestellten Kontext innerhalb seines Fensters.

Merksatz

Das Kontextfenster ist der begrenzte Arbeitstisch des Sprachmodells – nur was darauf liegt, kann es aktuell berücksichtigen.