Transformer

Kurz erklärt

Ein Transformer ist eine Architektur für neuronale Netze. Sie kann Beziehungen zwischen vielen Elementen einer Eingabe gewichten und ist die technische Grundlage zahlreicher moderner Sprachmodelle.

Was ist ein Transformer?

Der Transformer gehört zum Deep Learning. Seine zentrale Idee ist der Aufmerksamkeitsmechanismus – auf Englisch Attention. Er hilft dem Modell zu berechnen, welche Teile einer Eingabe für die Verarbeitung eines bestimmten Elements besonders relevant sind.

Bei einem Satz kann sich ein Wort beispielsweise auf einen weit entfernten Satzteil beziehen. Attention erlaubt es, solche Beziehungen direkt zu gewichten.

Wie funktioniert das?

Zunächst werden Tokens in mathematische Repräsentationen übersetzt. Mehrere Verarbeitungsschichten verändern diese Repräsentationen. Dabei berechnet Attention für jedes Element, wie stark andere Elemente berücksichtigt werden sollen.

Tokens
  ↓
mathematische Repräsentationen
  ↓
Attention + weitere Verarbeitung
  ↓
kontextabhängige Repräsentationen

Das ist stark vereinfacht: Ein großer Transformer enthält viele Schichten, Attention-Köpfe und gelernte Parameter.

Konkretes Beispiel

Im Satz „Die Inspizientin informierte die Regisseurin, weil sie den Umbau kannte“ muss das Modell aus dem Kontext ableiten, auf wen sich „sie“ bezieht. Attention hilft, Beziehungen zu relevanten Wörtern zu gewichten. Das garantiert nicht immer die richtige Interpretation, macht die Verarbeitung langer Zusammenhänge aber leistungsfähig.

Warum ist das wichtig?

Transformer lassen sich gut mit großen Datenmengen und Rechenkapazitäten skalieren. Sie werden nicht nur für Text, sondern auch für Bilder, Audio und multimodale Systeme eingesetzt.

Zusammenhang mit anderen KI-Begriffen

GPT bedeutet unter anderem „Transformer“.
Sprachmodelle verwenden Transformer zur Verarbeitung von Kontext.
Das Kontextfenster begrenzt die gleichzeitig verarbeiteten Elemente.

Typisches Missverständnis

Missverständnis: Transformer ist ein bestimmtes KI-Produkt.

Ein Transformer ist eine technische Architektur. Viele verschiedene Modelle und Anwendungen können darauf aufbauen.

Merksatz

Transformer verarbeiten Zusammenhänge, indem sie die Bedeutung verschiedener Teile einer Eingabe füreinander gewichten.