Halluzination

Kurz erklärt

Eine Halluzination ist eine Ausgabe, die plausibel klingt, aber sachlich falsch, erfunden oder nicht ausreichend belegt ist. Sprachmodelle können solche Inhalte mit großer sprachlicher Sicherheit formulieren.

Was ist eine Halluzination?

Ein Sprachmodell erzeugt passende Tokens aus gelernten Mustern und aktuellem Kontext. Sein primäres Verfahren ist nicht die automatische Prüfung jeder Aussage an einer verlässlichen Quelle.

Halluzinationen können erfundene Termine, Personen, Zitate, Literaturangaben, Funktionen oder scheinbar logische Erklärungen betreffen.

Warum entstehen Halluzinationen?

Mögliche Ursachen sind:

fehlende oder widersprüchliche Informationen,
eine Aufforderung, trotz Wissenslücke eine Antwort zu liefern,
ungeeignete oder nicht gefundene Quellen,
mehrdeutige Fragen,
und die generative Arbeitsweise des Modells selbst.

Konkretes Beispiel

Jemand fragt nach dem Premierentermin einer Produktion, der in den bereitgestellten Unterlagen nicht genannt wird. Das Modell könnte dennoch ein glaubwürdig wirkendes Datum nennen. Sprachlich passt die Antwort, sachlich fehlt ihr die Grundlage.

Ein besser eingerichteter Assistent antwortet: „In den verfügbaren Quellen ist kein Premierentermin angegeben.“

Wie lässt sich das Risiko verringern?

verlässliche Informationen ausdrücklich bereitstellen,
mit RAG relevante Quellen einbinden,
Quellenangaben verlangen und tatsächlich prüfen,
das Modell fehlende Angaben kennzeichnen lassen,
kritische Ergebnisse von Menschen oder geeigneten Tools kontrollieren lassen.

Das Risiko lässt sich reduzieren, aber nicht durch einen einzelnen Prompt vollständig beseitigen.

Typisches Missverständnis

Missverständnis: Eine selbstbewusst formulierte und detaillierte Antwort ist wahrscheinlich richtig.

Sprachliche Qualität und sachliche Zuverlässigkeit sind verschiedene Eigenschaften. Gerade erfundene Details können besonders überzeugend wirken.

Merksatz

Eine plausible KI-Antwort ist ein Ergebnis zum Prüfen, nicht automatisch ein belegter Fakt.