Multimodalität / multimodale KI

Kurz erklärt

Multimodale KI kann mehrere Arten von Informationen verarbeiten oder erzeugen, zum Beispiel Text, Bild, Audio und Video. „Modalität“ bezeichnet dabei eine Form, in der Information vorliegt.

Was ist Multimodalität?

Ein rein textbasiertes Sprachmodell verarbeitet Text. Ein multimodales Modell kann zusätzlich etwa ein Bild analysieren, eine Audioaufnahme verstehen oder aus Text und Bild gemeinsam eine Antwort erzeugen.

Ein System muss nicht jede Modalität in beide Richtungen beherrschen. Manche Modelle analysieren Bilder, erzeugen aber keine; andere erstellen Sprache aus Text, können jedoch keinen gesprochenen Inhalt verstehen.

Wie funktioniert das?

Unterschiedliche Eingaben werden in mathematische Repräsentationen übersetzt, die das Modell gemeinsam verarbeiten kann.

Text ─┐
Bild ─┼→ gemeinsame Verarbeitung → Text, Bild, Audio oder Video
Audio ┤
Video ┘

In einer Anwendung können auch mehrere spezialisierte Modelle zusammenspielen, obwohl die Oberfläche wie ein einziges multimodales System wirkt.

Konkretes Beispiel

Eine Mitarbeiterin lädt das Foto eines handschriftlich ergänzten Ablaufplans hoch und fragt nach einer strukturierten Aufgabenliste. Das System muss Bild, gedruckten Text, Handschrift und die textliche Anweisung gemeinsam berücksichtigen. Unleserliche Stellen sollte es markieren, statt sie unbemerkt zu erraten.

Warum ist das wichtig?

Multimodalität erweitert mögliche Arbeitsabläufe, erhöht aber die Zahl der Fehlerquellen. Bildausschnitte können missverstanden, Stimmen falsch transkribiert und zeitliche Abläufe in Videos übersehen werden. Ergebnisse sollten passend zum Medium geprüft werden.

Zusammenhang mit anderen KI-Begriffen

Bildgenerierung erzeugt visuelle Inhalte.
Speech-to-Text wandelt Sprache in Text um.
Text-to-Speech erzeugt Sprache aus Text.
OCR erkennt Schrift in Bildern.

Typisches Missverständnis

Missverständnis: Ein multimodales Modell nimmt seine Umgebung so vollständig wahr wie ein Mensch.

Das System verarbeitet bereitgestellte Daten mit begrenzten Modellen. Es kennt weder automatisch den vollständigen Kontext noch die Bedeutung jeder Wahrnehmung.

Merksatz

Multimodale KI verbindet mehrere Medienarten – ihre Fähigkeiten und Grenzen müssen für jede Modalität einzeln geprüft werden.