Inferenz

Kurz erklärt

Inferenz ist die Nutzung eines bereits trainierten KI-Modells. Das Modell erhält eine neue Eingabe und berechnet daraus eine Ausgabe.

Was ist Inferenz?

Während beim Training die Parameter eines Modells angepasst werden, bleiben sie bei der normalen Inferenz grundsätzlich unverändert. Das Modell wendet seine gelernten Muster auf eine konkrete Anfrage an.

Bei einem Sprachmodell umfasst Inferenz die schrittweise Erzeugung von Tokens. Bei einem Bildmodell kann sie die Erzeugung oder Analyse eines Bildes bedeuten.

Wie funktioniert das?

trainiertes Modell + neue Eingabe
                ↓
             Inferenz
                ↓
              Ausgabe

Eine Anwendung bereitet die Eingabe auf, ruft das Modell auf und verarbeitet das Ergebnis weiter. Geschwindigkeit und Rechenbedarf hängen unter anderem von Modellgröße, Eingabelänge, Hardware und gewünschter Ausgabelänge ab.

Konkretes Beispiel

Eine Mitarbeiterin bittet einen KI-Assistenten, ein Protokoll zusammenzufassen. Das System stellt Prompt, Protokoll und weitere Anweisungen zusammen. Das Modell erzeugt während der Inferenz Token für Token die Zusammenfassung. Seine gelernten Parameter werden dabei nicht neu trainiert.

Warum ist das wichtig?

Die Trennung von Training und Inferenz beantwortet praktische Fragen:

Wo werden Daten verarbeitet?
Welche Rechenleistung wird für die Nutzung benötigt?
Entstehen Kosten pro Anfrage oder Token?
Verändert eine Eingabe das Modell dauerhaft?

Bei Cloud-KI findet die Inferenz auf Systemen eines Anbieters statt; bei lokaler KI auf eigener Infrastruktur.

Typisches Missverständnis

Missverständnis: Wenn ein Modell eine Antwort erzeugt, lernt es automatisch daraus.

Normale Inferenz verändert das Modell nicht. Gesprächskontext kann das Verhalten vorübergehend beeinflussen, ist aber nicht dasselbe wie Training.

Merksatz

Training bringt einem Modell Muster bei; Inferenz setzt das Gelernte für eine neue Eingabe ein.