Skip to main content

Sprachmodell / Large Language Model (LLM)

Kurz erklärt

Ein Sprachmodell ist ein KI-System, das Muster in Sprache gelernt hat. Es kann Texte fortsetzen, Fragen beantworten, Inhalte zusammenfassen, übersetzen oder neu formulieren.

Ein Large Language Model (LLM) ist ein besonders großes Sprachmodell, das mit sehr umfangreichen Textmengen trainiert wurde. Es erzeugt Antworten, indem es Schritt für Schritt passende Tokens vorhersagt.

Was ist ein Sprachmodell?

Ein Sprachmodell berechnet, welche sprachliche Fortsetzung in einem gegebenen Zusammenhang wahrscheinlich ist. Moderne Sprachmodelle können dadurch Texte erzeugen, die inhaltlich zusammenhängend und sprachlich überzeugend wirken.

Die Bezeichnung Large Language Model bedeutet wörtlich „großes Sprachmodell“. „Groß“ kann sich dabei auf mehrere Dinge beziehen: die Menge der Trainingsdaten, die Zahl der intern gelernten Parameter und den erforderlichen Rechenaufwand.

Ein LLM speichert nicht einfach eine Sammlung fertiger Antworten. Im Training lernt es statistische Muster und Zusammenhänge: welche Begriffe häufig gemeinsam auftreten, welche Formulierungen zu einer Aufgabe passen und wie Texte typischerweise aufgebaut sind. Aus diesen gelernten Mustern erzeugt es für eine neue Eingabe eine neue Ausgabe.

Wie funktioniert ein Sprachmodell?

Vereinfacht lässt sich die Textverarbeitung so darstellen:

Eingabe oder Frage
        ↓
Zerlegung in Tokens
        ↓
Berechnung sprachlicher Zusammenhänge
        ↓
Vorhersage des nächsten Tokens
        ↓
Wiederholung, bis die Antwort vollständig ist

Zunächst zerlegt ein Tokenizer den eingegebenen Text in Tokens. Das Modell berücksichtigt diese Einheiten innerhalb seines Kontextfensters. Dann berechnet es für viele mögliche Fortsetzungen Wahrscheinlichkeiten und wählt ein nächstes Token aus. Dieser Vorgang wiederholt sich, bis die Antwort endet.

Die Auswahl ist nicht immer streng auf das wahrscheinlichste Token festgelegt. Je nach Einstellungen kann das System variieren, wie vorhersehbar oder kreativ die Ausgabe ausfällt. Deshalb kann dasselbe Modell auf dieselbe Frage unterschiedliche Formulierungen liefern.

Viele aktuelle LLMs beruhen auf einer Modellarchitektur namens Transformer. Ein wichtiger Bestandteil davon ist der sogenannte Aufmerksamkeitsmechanismus: Er hilft dem Modell zu gewichten, welche Teile des vorhandenen Textes für den nächsten Schritt besonders relevant sind.

Wie entsteht ein solches Modell?

Die Entwicklung erfolgt vereinfacht in mehreren Phasen:

  1. Grundtraining: Das Modell lernt anhand sehr großer Textmengen, sprachliche Muster und Fortsetzungen vorherzusagen.
  2. Weiteres Training und Abstimmung: Das Modell wird darauf ausgerichtet, Anweisungen besser zu befolgen und hilfreichere Antworten zu geben.
  3. Sicherheitsmaßnahmen: Zusätzliche Regeln und Prüfungen sollen problematische Ausgaben begrenzen.
  4. Anwendung: Ein Dienst oder KI-Assistent stellt das Modell bereit und ergänzt es gegebenenfalls um Wissen, Werkzeuge oder weitere Anweisungen.

Das genaue Verfahren unterscheidet sich je nach Modell und Anbieter.

Konkretes Beispiel

Angenommen, ein Theater möchte aus einer langen Produktionsnotiz eine Aufgabenliste erstellen. Der Prompt lautet:

Fasse diese Produktionsnotiz in höchstens fünf Punkten zusammen. Nenne zu jedem Punkt die verantwortliche Abteilung und den Termin. Erfinde keine fehlenden Angaben.

Das Sprachmodell verarbeitet die Anweisung und die Produktionsnotiz als Tokens. Anschließend erzeugt es die Antwort Token für Token. Dabei nutzt es sowohl die Informationen aus der Notiz als auch die während des Trainings gelernten sprachlichen Muster für Zusammenfassungen und Listen.

Wenn die Notiz keinen Termin für die Beleuchtungsprobe enthält, sollte das Modell dies als fehlende Angabe kennzeichnen. Trotzdem kann es vorkommen, dass es einen plausibel klingenden Termin ergänzt. Eine solche sachlich unbelegte Ausgabe wird häufig als Halluzination bezeichnet. Wichtige Angaben sollten deshalb überprüft werden.

Was kann ein Sprachmodell gut – und was nicht?

Sprachmodelle eignen sich unter anderem gut für:

  • das Zusammenfassen und Strukturieren von Texten,
  • das Erstellen von Entwürfen und Formulierungsvarianten,
  • das Übersetzen oder Vereinfachen von Inhalten,
  • das Extrahieren benannter Informationen aus Dokumenten,
  • das Erklären von Begriffen und Zusammenhängen,
  • und die Unterstützung bei Ideenfindung und Planung.

Ein Sprachmodell ist jedoch keine Garantie für Wahrheit. Es kann:

  • Fakten erfinden oder verwechseln,
  • veraltete oder lückenhafte Informationen verwenden,
  • unklare Anweisungen falsch interpretieren,
  • Vorurteile aus Trainingsdaten widerspiegeln,
  • und bei gleicher Eingabe unterschiedliche Antworten erzeugen.

Ob eine Ausgabe zuverlässig ist, hängt deshalb nicht nur vom Modell ab. Wichtig sind auch ein klarer Prompt, geeignete Quellen, der verfügbare Kontext und eine angemessene menschliche Prüfung.

Warum ist das wichtig?

Sprachmodelle bilden die technische Grundlage vieler Anwendungen, die im Alltag einfach als „KI“ bezeichnet werden. Wer ihr Grundprinzip versteht, kann ihre Antworten besser einordnen:

  • Eine flüssige Formulierung ist noch kein Beleg für sachliche Richtigkeit.
  • Das Modell kennt nur die Informationen, die es gelernt hat oder die ihm im aktuellen Kontext bereitgestellt werden.
  • Gute Ergebnisse entstehen meist durch klare Aufgaben, relevante Informationen und eine Prüfung der Ausgabe.
  • Vertrauliche oder personenbezogene Daten dürfen nur in dafür freigegebenen Systemen verarbeitet werden.

Zusammenhang mit anderen KI-Begriffen

  • Tokens sind die Texteinheiten, die das Sprachmodell verarbeitet und erzeugt.
  • Das Kontextfenster begrenzt, wie viel Text bei einer einzelnen Verarbeitung berücksichtigt werden kann.
  • Ein Prompt gibt dem Modell Aufgabe, Kontext und gewünschte Ausgabeform vor.
  • RAG kann einem Sprachmodell gezielt Informationen aus ausgewählten Wissensquellen bereitstellen.
  • Ein KI-Assistent kombiniert ein Sprachmodell häufig mit Regeln, Dateien, Suchfunktionen oder anderen Werkzeugen.
  • Ein Transformer ist die technische Architektur hinter vielen modernen Sprachmodellen.
  • Eine Halluzination ist eine plausibel klingende, aber nicht ausreichend belegte oder falsche Ausgabe.

Typisches Missverständnis

Missverständnis: Ein Sprachmodell versteht und weiß Dinge genauso wie ein Mensch.

Ein Sprachmodell kann den Eindruck von Verständnis erzeugen, weil es sprachliche Zusammenhänge sehr gut abbildet. Es hat jedoch keine menschliche Erfahrung und prüft eine Aussage nicht automatisch an der Wirklichkeit. Seine Antwort entsteht zunächst als berechnete sprachliche Fortsetzung.

Das bedeutet nicht, dass die Antworten grundsätzlich unbrauchbar sind. Es bedeutet, dass ihre Zuverlässigkeit von der Aufgabe, dem bereitgestellten Kontext und der Kontrolle der Ergebnisse abhängt.

Merksatz

Ein Sprachmodell erzeugt Sprache, indem es aus dem vorhandenen Kontext Schritt für Schritt passende Tokens vorhersagt.

Siehe auch

No comments to display