Immer mehr Unternehmen setzen generative KI ein und erkennen dabei sowohl das enorme Potenzial als auch die Herausforderungen, die mit der Nutzung des Wertes ihrer Daten verbunden sind.
Unternehmen verfügen über riesige Datenmengen, die durch fortschrittliche KI-gestützte Such-, Abruf- und Generierungsfunktionen einen Mehrwert für Mitarbeiter und Kunden bieten können. Diese Daten liegen jedoch nicht nur in einfachen Textdokumenten oder Tabellen vor; ein Großteil der Informationen befindet sich in verschiedenen Formaten wie Bildern, Audio- und sogar Videodateien, die eine komplexere Verarbeitung erfordern.
Bis vor Kurzem war die Integration dieser Datentypen in fortschrittliche KI-Systeme wie die Retrieval-Augmented Generation (RAG) im großen Maßstab nur schwer umsetzbar. Text-Embeddings – die die Bedeutung von Daten in numerischen Darstellungen erfassen – wurden bisher hauptsächlich zur Verarbeitung von Textdokumenten eingesetzt.
Dies ändert sich nun dank der jüngsten Fortschritte bei multimodalen Embeddings. Wie der Begriff schon sagt, ermöglicht dies Unternehmen, verschiedene „Modalitäten“ von Daten in das Embedding-Modell ihres Systems einzuspeisen, welches die Bedeutung der Informationen unabhängig vom Format extrahieren kann.
In diesem Artikel erläutern wir, warum multimodale Embeddings für Unternehmens-KI von entscheidender Bedeutung sind und wie sie effektiv in RAG-Systemen eingesetzt werden können.
Warum sind multimodale Embeddings wichtig?
Multimodale Embeddings versprechen Unternehmen eine umfassendere und einheitlichere Sicht auf ihre Daten – sei es aus komplexen Berichten, Präsentationsdateien wie PowerPoint, Produktkatalogen, Diagrammen oder Bildern wie handschriftlichen Notizen. Dies ermöglicht es ihnen wiederum, tiefere Erkenntnisse und Analysen aus ihren Daten zu gewinnen und ihren Kunden und Mitarbeitern fortschrittlichere KI-gestützte Funktionen anzubieten.
Nutzer können beispielsweise relevante Diagramme und Grafiken basierend auf Abfragen zu einer bestimmten Erkenntnis oder einem Trend abrufen. Unternehmen können Anwendungen entwickeln, die es Kunden ermöglichen, Schemata basierend auf visuellen Ähnlichkeiten zu durchsuchen, ohne dass Textbeschreibungen erforderlich sind.
Einzelhändler könnten multimodale Embeddings nutzen, um die großen Mengen an visuellen, textuellen und preisbezogenen Daten zu integrieren, die sie besitzen, um Kunden personalisiertere Empfehlungen zu bieten. Ein multimodales System könnte beispielsweise erkennen, dass ein Kunde basierend auf seinem Surfverhalten bestimmte visuelle Designs und Preisklassen bevorzugt, und ihm ähnliche Artikel vorschlagen.
Viele Unternehmen, darunter auch Beratungsfirmen, verfügen über umfangreiche wertvolle Wissensbestände und Erkenntnisse, die in PowerPoint-Präsentationen gespeichert sind – einer Mischung aus Text, Bildern und Diagrammen. Multimodale Embeddings könnten es ihnen ermöglichen, das gesamte Spektrum an Erkenntnissen und Daten abzurufen, die für die Erstellung individueller Angebote erforderlich sind.
Oder man betrachte ein Gesundheitsunternehmen, das schriftliche medizinische Notizen und Bilder, wie Laborergebnisse und MRT-Scans, in sein GenAI-System integrieren möchte. Multimodale Embeddings könnten Ärzten helfen, MRT-Bilder in Krankheitssubtypen und phänotypische Informationen (z. B. neuropsychologische Merkmale) zu klassifizieren, was zu einem effizienteren und umfassenderen Diagnoseprozess führt. Sie könnten zudem Muster über verschiedene Datentypen hinweg erkennen und medizinischen Fachkräften tiefere Einblicke in Krankheitssymptome und Behandlungsmethoden geben.
Wie funktioniert das?
Genau wie bei reinen Text-Embeddings funktioniert die multimodale Einbettung, indem Daten basierend auf ihrer Bedeutung als Vektoren kodiert werden. Verwandte Datentypen (unabhängig davon, ob sie aus Text, Bildern oder anderen Formaten stammen) werden im selben latenten Raum der Vektordatenbank gespeichert.
Sobald Daten als Vektoren gespeichert sind, spielt ihr ursprüngliches Format keine Rolle mehr – die Datenbank besteht schlicht aus Zahlen, die eine bestimmte Bedeutung repräsentieren. Jeder Vektor ist mit Metadaten verknüpft, die auf die ursprüngliche Quelle verweisen, sodass bei Bedarf auf die Originaldaten zugegriffen oder diese referenziert werden können.
Eine Benutzeranfrage löst eine sogenannte Ähnlichkeitssuche aus, die basierend auf den Vektorpositionen die passendsten Treffer findet. Handelt es sich bei den Daten beispielsweise um ein Bild, wird dieses zunächst in seine wesentlichen Bestandteile zerlegt. Ein neuronales Netzwerk fügt dem Bild anschließend weitere Details, Nuancen und Komplexität hinzu, um es präzise entsprechend seiner Bedeutung zu kodieren.
Nehmen wir beispielsweise an, es handelt sich um ein Bild einer Katze. Das Netzwerk würde zunächst bestimmte Bildsegmente als „katzenähnlich“ identifizieren, wie etwa die dreieckigen Ohren, das Fellmuster und den Schwanz. Anschließend würde es tiefere Ebenen von Merkmalen analysieren, die auf eine Katze hindeuten, wie etwa die Fellstruktur, die Schnurrhaare, die Rasse und den Kontext.
Die Vektorposition im Embeddings-Modell würde all diese Informationen kodieren und sich im latenten Raum in der Nähe von Daten mit ähnlicher Bedeutung befinden – unabhängig von deren ursprünglichem Format.
Bei reinen Text-Embeddings könnte eine Abfrage zu Katzen beispielsweise Ergebnisse liefern, die eine Britisch Kurzhaar oder andere Rassen zeigen. Bei multimodalen Embeddings könnten hingegen auch ein Bild eines Löwen oder das handschriftliche Wort „Panther“ angezeigt werden. Multimodale Embeddings sorgen somit dafür, dass bei der Datensuche deutlich weniger relevante Informationen übersehen werden.
Welche Herausforderungen gibt es bei der Implementierung multimodaler Embeddings?
Ein wichtiger Aspekt für Unternehmen ist, dass multimodale Embedding-Modelle nahtlos mit bestehenden vektorbasierten Daten integriert werden können.
Cohere hat kürzlich Embed 3 multimodalveröffentlicht, das Text- und Bild-Embeddings in denselben Vektorraum integriert und so ein einheitliches Erlebnis ermöglicht. Dies erlaubt es Unternehmen, auf multimodale Funktionen umzusteigen, ohne den Aufwand und die Kosten einer erneuten Vektorisierung aller Textdaten tragen zu müssen. Ohne diese Abwärtskompatibilität liefern Ähnlichkeitssuchen nur unzureichende Ergebnisse.
Embed 3 verarbeitet Text- und Bilddaten gleichermaßen effizient und bewahrt deren semantische Bedeutung in einem gemeinsamen Raum. Im Gegensatz zu anderen Modellen, die Text- und Bilddaten oft in separate Cluster unterteilen (was zu Ergebnissen führt, die entweder Text oder Bilder bevorzugen), bietet Embed 3 eine gleichbleibend hohe Leistung für beide Datentypen. Das bedeutet, dass Sie bei der Suche in gemischten Inhalten die relevantesten Ergebnisse erhalten – unabhängig davon, ob es sich um Text oder Bilder handelt.
Bevor umfangreiche Ressourcen in multimodale Embeddings investiert werden, empfiehlt es sich, diese zunächst in einem kleineren Rahmen zu testen. So lässt sich die Leistung und Eignung des Modells für spezifische Anwendungsfälle bewerten und potenzielle Anpassungsbedarfe vor der vollständigen Bereitstellung identifizieren.
Modelle benötigen möglicherweise zusätzliches Training, um feine Details und Variationen in Bildern zu erfassen. Für spezialisierte Anwendungen, wie etwa im medizinischen Bereich, kann ein spezifischeres multimodales Embedding-System erforderlich sein, das in der Lage ist, Bilder wie Röntgenaufnahmen oder mikroskopische Zellbilder zu interpretieren.
Der Ausgabebereich der Pipeline erfordert zusätzliche Überlegungen. Das System sollte in der Lage sein, Bildreferenzen (z. B. URLs oder Dateipfade) zusammen mit Textdaten zu verarbeiten, was bei textbasierten Embeddings möglicherweise nicht möglich ist. Um ein nahtloses Nutzererlebnis zu gewährleisten, müssen Unternehmen möglicherweise eigenen Code implementieren, um die Bildsuche mit der bestehenden Textsuche zu integrieren.
Um nahtlose Generierungsergebnisse zu erzielen, die Bilddaten und Text kombinieren, sind zudem aktualisierte Reranking-Modelle erforderlich. Textbasierte Reranking-Modelle übersehen relevante Informationen aus Bildern (abgesehen von Metadaten), da die Bedeutung im Bild selbst liegt und herkömmliche Reranker Text und keine Vektoren als Eingabe akzeptieren.
Welche Schritte sollten unternommen werden, um Daten für multimodale Embeddings vorzubereiten?
Wie bei rein textbasierten Embeddings müssen auch bei multimodalen Embeddings die Daten vor der Eingabe in das Modell in gewissem Maße vorverarbeitet werden.
Bilder müssen beispielsweise in der Regel auf eine einheitliche Größe und Skalierung angepasst werden. Zudem ist auf die Bildqualität zu achten. Bilder mit niedriger Auflösung können zum Verlust wichtiger Details führen. Andererseits belasten hochauflösende Bilder (die für bestimmte Anwendungsfälle, etwa im medizinischen Bereich, erforderlich sein können) die Verarbeitungszeit und den Speicher stärker. Unternehmen müssen hier je nach Bedarf einen Kompromiss finden.
Die Bereitstellung detaillierter Metadaten für Bilder ist ein weiterer wichtiger Schritt, um die Relevanz und den Kontext der Suchergebnisse zu verbessern.
Wie sieht der Prozess zur Bewertung der Performance aus?
Zur Bewertung und Optimierung der multimodalen Performance kann eine Kombination aus manuellen und automatisierten Evaluierungsmethoden eingesetzt werden.
Mitarbeiter können die Embedding-Ergebnisse mit einer herkömmlichen, auf Schlagworten basierenden Bildsuche vergleichen. Unternehmen können zudem A/B-Tests durchführen, indem sie zwei Embedding-Versionen bereitstellen und deren Performance bei der Suche sowie anhand weiterer Metriken vergleichen.
Ein wesentlicher Aspekt der Performance ist die Fähigkeit, die Embeddings effizient zu verarbeiten und das System als Enterprise-Lösung zu skalieren. Dies kann eine Herausforderung darstellen, insbesondere für Unternehmen wie Einzelhändler, die möglicherweise eine enorme Menge an Artikeln einbetten müssen. Dennoch ist dies machbar: Ein großer Einzelhändler, der mit Cohere zusammenarbeitete, konnte über 700 Millionen Artikel in vier Tagen indizieren und so die Suchfunktionen für seine Kunden transformieren. Die Verarbeitungszeiten können jedoch je nach Faktoren wie der Infrastrukturkapazität variieren.
Fazit
Multimodale Embeddings stellen einen bedeutenden Fortschritt für Enterprise-GenAI-Anwendungen dar, da sie eine leistungsstarke KI-gestützte Suche über alle Datentypen hinweg ermöglichen und aussagekräftigere, umfassendere sowie visuell reichhaltigere Antworten auf Anfragen generieren. Während verschiedene Branchen ihre Anwendungsfälle weiter verfeinern, ist mit einer stärkeren Integration von Formaten wie Video und Audio sowie einer verbesserten multimodalen Performance für hochspezialisierte Anwendungsfälle in Sektoren wie Einzelhandel, Gesundheitswesen und Fertigung zu rechnen.
Entwicklung von Enterprise-KI-Agenten
Ein umfassender Leitfaden zur Entwicklung skalierbarer KI-Agenten in regulierten Branchen.










