Skip to main content

Token

Kurz erklärt

Ein Token ist eine kleine Texteinheit, die ein Sprachmodell verarbeitet. Ein Token kann ein ganzes Wort, ein Wortteil, ein Satzzeichen oder – je nach Modell – auch nur ein einzelnes Zeichen sein.

Tokens sind wichtig, weil Sprachmodelle Texte nicht direkt als Wörter oder Sätze „lesen“. Sie zerlegen Eingaben und Ausgaben zunächst in Tokens und rechnen anschließend mit deren Zahlenwerten.

Was ist ein Token?

Menschen erkennen in einem Satz meist Wörter und deren Bedeutung. Ein Sprachmodell arbeitet dagegen mit einer technischen Darstellung von Text. Dafür wird der Text durch einen sogenannten Tokenizer in kleinere Einheiten aufgeteilt.

Häufige Wörter können dabei ein einziges Token bilden. Seltene, lange oder zusammengesetzte Wörter werden oft in mehrere Tokens zerlegt. Auch Leerzeichen und Satzzeichen können die Aufteilung beeinflussen.

Die genaue Zerlegung ist nicht überall gleich. Sie hängt vom verwendeten Modell und dessen Tokenizer ab. Deshalb kann derselbe Satz bei zwei Sprachmodellen unterschiedlich viele Tokens haben.

Wie funktioniert die Aufteilung in Tokens?

Vereinfacht läuft die Verarbeitung in drei Schritten ab:

Eingegebener Text
        ↓
Aufteilung durch den Tokenizer
        ↓
Tokens werden in Zahlen übersetzt
        ↓
Verarbeitung durch das Sprachmodell

Der Satz

Der Vorhang öffnet sich.

könnte zum Beispiel ungefähr so zerlegt werden:

Der | Vor | hang | öffnet | sich | .

Diese Darstellung dient nur zur Veranschaulichung. Ein konkretes Modell kann den Satz anders aufteilen – etwa „Vorhang“ als ein einziges Token oder „öffnet“ in mehrere Teile.

Für jedes Token verwendet das Modell intern eine Zahl. Diese Zahlen werden anschließend in mathematische Repräsentationen umgewandelt, mit denen das Modell Zusammenhänge zwischen den Textelementen berechnet. Mehr dazu erklärt der geplante Glossarartikel Embedding.

Konkretes Beispiel

Eine Mitarbeiterin bittet einen KI-Assistenten:

Fasse die Protokolle der letzten fünf Produktionsbesprechungen zusammen und liste alle noch offenen Aufgaben auf.

Für das Sprachmodell besteht diese Aufgabe nicht nur aus der sichtbaren Anweisung. Zum verarbeiteten Umfang können außerdem gehören:

  • die fünf Besprechungsprotokolle,
  • zusätzliche Anweisungen des KI-Assistenten,
  • Teile des bisherigen Gesprächs,
  • gefundene Informationen aus einer Wissensquelle,
  • und die erzeugte Antwort.

All diese Texte benötigen Tokens und müssen in das verfügbare Kontextfenster passen. Sind die Dokumente zu umfangreich, müssen sie zum Beispiel gekürzt, in Abschnitte aufgeteilt oder gezielt durchsucht werden. Eine mögliche Methode dafür ist RAG.

Warum sind Tokens wichtig?

Begrenzung der Textmenge

Jedes Sprachmodell hat ein begrenztes Kontextfenster. Es kann daher pro Verarbeitungsschritt nur eine bestimmte Gesamtzahl an Tokens berücksichtigen. Eingabe, Gesprächsverlauf, bereitgestellte Dokumente und Ausgabe teilen sich diesen verfügbaren Platz.

Kosten

Bei vielen KI-Diensten richtet sich der Preis nach der Anzahl der verarbeiteten Tokens. Häufig werden Eingabe- und Ausgabetokens getrennt berechnet. Lange Texte oder umfangreiche Gesprächsverläufe können daher höhere Kosten verursachen.

Geschwindigkeit

Je mehr Tokens verarbeitet oder erzeugt werden, desto mehr Rechenarbeit ist in der Regel nötig. Sehr lange Eingaben und Antworten können deshalb länger dauern.

Qualität der Antwort

Mehr Text bedeutet nicht automatisch eine bessere Antwort. Unwichtige, doppelte oder widersprüchliche Informationen können relevante Hinweise im Kontext überlagern. Ein klarer Prompt und sorgfältig ausgewählte Inhalte helfen dem Modell oft mehr als möglichst viel Text.

Zusammenhang mit anderen KI-Begriffen

  • Ein Sprachmodell verarbeitet und erzeugt Text schrittweise in Form von Tokens.
  • Das Kontextfenster legt fest, wie viele Tokens das Modell bei einer Anfrage insgesamt berücksichtigen kann.
  • Ein Prompt besteht ebenfalls aus Tokens und belegt einen Teil des Kontextfensters.
  • Bei RAG werden passende Textabschnitte gesucht und als zusätzliche Tokens in den Kontext eingefügt.
  • Ein Embedding ist eine mathematische Darstellung, die unter anderem aus Tokens oder Textabschnitten erzeugt werden kann.
  • Ein KI-Assistent verwaltet im Hintergrund oft verschiedene Texte, Werkzeuge und Gesprächsinhalte, die gemeinsam das Tokenbudget beanspruchen.

Typisches Missverständnis

Missverständnis: Ein Token ist dasselbe wie ein Wort.

Das stimmt nicht. Ein kurzes und häufiges Wort kann einem Token entsprechen, ein langes Wort kann aus mehreren Tokens bestehen. Auch Satzzeichen, Zahlen, Sonderzeichen und Teile von Wörtern können eigene Tokens sein. Darum lässt sich die Tokenzahl nicht zuverlässig aus der Wortzahl ableiten.

Ein weiteres Missverständnis ist, dass ein großes Tokenlimit bedeute, das Modell könne sich dauerhaft an alles erinnern. Das Kontextfenster ist jedoch nur der jeweils verfügbare Arbeitsbereich. Es ist kein dauerhaftes Gedächtnis.

Merksatz

Tokens sind die kleinen Textbausteine, mit denen ein Sprachmodell rechnet.

Siehe auch