Parameter

Kurz erklärt

Parameter sind die während des Trainings gelernten Zahlenwerte eines KI-Modells. Gemeinsam bestimmen sie, wie Eingaben verarbeitet und welche Ausgaben berechnet werden.

Was sind Parameter?

Ein neuronales Netz enthält viele mathematische Verbindungen. Deren Gewichte und weitere veränderbare Werte werden als Parameter bezeichnet. Im Training werden sie schrittweise angepasst.

Bei großen Sprachmodellen kann es sehr viele Parameter geben. Ihre Anzahl ist ein technisches Merkmal, sagt allein aber nicht zuverlässig, wie gut ein Modell für eine konkrete Aufgabe geeignet ist.

Wie funktionieren sie?

Während einer Berechnung wird eine Eingabe durch viele Schichten des Modells geleitet. Die Parameter beeinflussen dabei, wie stark Signale gewichtet und verändert werden.

Eingabe × gelernte Parameter
          ↓
viele Rechenschritte
          ↓
Ausgabe

Ein einzelner Parameter hat normalerweise keine leicht benennbare Bedeutung wie „Wissen über Theater“. Fähigkeiten entstehen aus dem Zusammenspiel sehr vieler Werte.

Konkretes Beispiel

Im Training verarbeitet ein Sprachmodell einen Text und sagt das nächste Token voraus. Weicht die Vorhersage vom Trainingsziel ab, werden Parameter minimal verändert. Nach sehr vielen Wiederholungen kann das Modell sprachliche Muster zuverlässig abbilden.

Bei der späteren Inferenz werden diese gelernten Werte verwendet, aber normalerweise nicht verändert.

Warum ist das wichtig?

Parameter beeinflussen Modellgröße, Speicherbedarf und Rechenaufwand. Für den lokalen Betrieb ist daher relevant, ob die Modellgewichte auf die vorhandene Hardware passen. Komprimierungsverfahren können Speicherbedarf verringern, eventuell aber auch Qualität beeinflussen.

Zusammenhang mit anderen KI-Begriffen

Training verändert Parameter.
Fine-Tuning passt vorhandene Parameter weiter an.
Open Weights bedeutet, dass Modellgewichte verfügbar gemacht werden.

Typisches Missverständnis

Missverständnis: Mehr Parameter bedeuten automatisch ein besseres Modell.

Größe kann Fähigkeiten ermöglichen, ist aber nur ein Faktor. Datenqualität, Architektur, Training, Kontextfenster und Eignung für die konkrete Aufgabe sind ebenfalls entscheidend.

Merksatz

Parameter sind die gelernten Zahlenwerte, in denen ein Modell seine Muster abbildet.