Fine-Tuning

Kurz erklärt

Fine-Tuning ist ein zusätzliches Training eines bereits vortrainierten Modells. Dabei wird das Modell mit ausgewählten Beispielen weiter angepasst, damit es bestimmte Aufgaben, Stile oder Verhaltensweisen besser beherrscht.

Was ist Fine-Tuning?

Ein großes Modell hat im Vortraining allgemeine Muster gelernt. Beim Fine-Tuning werden seine Parameter oder zusätzliche Anpassungskomponenten mit einem kleineren, gezielten Datensatz weiter verändert.

Fine-Tuning kann sinnvoll sein, wenn ein wiederkehrendes Verhalten nicht zuverlässig allein durch Prompts erreicht wird. Es ist jedoch aufwendiger als eine neue Systemanweisung oder das Bereitstellen zusätzlicher Dokumente.

Wie funktioniert das?

vortrainiertes Modell
        +
ausgewählte Trainingsbeispiele
        ↓
zusätzliches Training
        ↓
angepasste Modellversion

Die Beispiele sollten die gewünschte Eingabe und passende Ausgabe repräsentieren. Qualität, Ausgewogenheit und Rechte an den Daten sind entscheidend. Nach dem Training muss die angepasste Version mit bekannten und neuen Fällen bewertet werden.

Konkretes Beispiel

Ein Modell soll eine spezielle interne Textstruktur zuverlässig erzeugen. Dafür werden viele geprüfte Paare aus Eingabe und gewünschter Ausgabe erstellt. Ein Fine-Tuning kann die Einhaltung der Struktur verbessern.

Wenn dagegen nur aktuelle Hausregeln beantwortet werden sollen, ist RAG meist geeigneter: Die Regeln ändern sich, sollen zitierbar bleiben und müssen nicht in Modellparameter übertragen werden.

Fine-Tuning, Prompt und RAG

Ein Prompt steuert das Modell im aktuellen Kontext.
RAG liefert aktuelle oder interne Informationen zur Anfrage.
Fine-Tuning verändert das Verhalten einer Modellversion durch zusätzliches Training.

Diese Verfahren können kombiniert werden, lösen aber unterschiedliche Probleme.

Warum ist das wichtig?

Fine-Tuning verursacht Aufwand für Datenaufbereitung, Training, Evaluierung, Versionspflege und Betrieb. Es kann unerwünschte Nebeneffekte haben oder Fähigkeiten verschlechtern. Vorher sollte geprüft werden, ob ein guter Prompt, ein Skill, strukturierte Ausgaben oder RAG ausreichen.

Typisches Missverständnis

Missverständnis: Fine-Tuning ist der beste Weg, um einem Modell aktuelle Fakten beizubringen.

Für häufig veränderliche und belegpflichtige Informationen ist eine gepflegte Wissensquelle meist flexibler und nachvollziehbarer.

Merksatz

Fine-Tuning passt das Verhalten eines Modells durch weiteres Training an; aktuelles Wissen lässt sich oft besser über RAG bereitstellen.