Embedding

Kurz erklärt

Ein Embedding ist eine Zahlenrepräsentation eines Inhalts, die dessen relevante Eigenschaften mathematisch abbildet. Ähnliche Inhalte erhalten dabei häufig Repräsentationen, die im sogenannten Vektorraum nahe beieinanderliegen.

Was ist ein Embedding?

Texte, Bilder oder andere Daten werden durch ein Modell in Zahlenlisten – Vektoren – übersetzt. Diese Zahlen sind nicht einfach Buchstabencodes. Sie bilden gelernte Merkmale und Zusammenhänge ab.

Dadurch können Systeme die inhaltliche Ähnlichkeit von Formulierungen vergleichen, auch wenn nicht dieselben Wörter verwendet werden.

Wie funktioniert das?

Textabschnitt
      ↓
Embedding-Modell
      ↓
[0,12; -0,37; 0,81; ...]
      ↓
Vergleich mit anderen Vektoren

Die abgebildete Zahlenfolge ist nur ein vereinfachtes Beispiel. Reale Embeddings können aus sehr vielen Werten bestehen. Die Bedeutung eines einzelnen Wertes ist meist nicht unmittelbar lesbar.

Konkretes Beispiel

Eine Anfrage lautet „Regeln für kurzfristigen Besetzungswechsel“. In der Wissensquelle steht ein Abschnitt mit der Überschrift „Vorgehen bei Umbesetzungen“. Eine reine Stichwortsuche könnte wenig Übereinstimmung finden. Embeddings können die inhaltliche Nähe der beiden Formulierungen abbilden und den Abschnitt als passend einstufen.

Warum ist das wichtig?

Embeddings sind eine technische Grundlage vieler Systeme für semantische Suche, Empfehlungen, Gruppierung und RAG. Ihre Qualität hängt vom verwendeten Modell, der Sprache, der Dokumentaufteilung und der Art der Inhalte ab.

Zusammenhang mit anderen KI-Begriffen

Chunking bestimmt, welche Textabschnitte eingebettet werden.
Eine Vektordatenbank speichert und durchsucht Embeddings.
RAG kann gefundene Abschnitte an ein Sprachmodell übergeben.

Typisches Missverständnis

Missverständnis: Ein Embedding ist eine verständliche Zusammenfassung des Textes.

Ein Embedding ist eine mathematische Repräsentation für Berechnungen. Menschen können daraus den ursprünglichen Inhalt nicht einfach ablesen.

Merksatz

Embeddings übersetzen Inhalte in Zahlenräume, in denen sich Ähnlichkeit berechnen lässt.