Ada, der führende Anbieter für agentische Kundenerlebnisse (ACX), unterstützt Unternehmen aus den Bereichen Luftfahrt, Zahlungsdienste und Einzelhandel dabei, Kundenanfragen im Kundenservice autonom zu bearbeiten. Dahinter stehen KI-Agenten, die jeder Kunde mit seinem eigenen Wissen, seiner Markenidentität und seinen Prozessen konfiguriert und die auf der Ada-Schlussfolgerungs-Engine laufen. So wird beispielsweise der Typ der Antwort, die ein Finanzdienstleistungsunternehmen einem Bankkunden gibt, sich von der Antwort unterscheiden, die eine Fluggesellschaft einem Reisenden gibt, dessen Flug gerade gestrichen wurde.
Doch bevor KI-Agenten die richtigen Antworten generieren können, müssen sie die richtigen Informationen finden. Hier kommt die Informationssuche ins Spiel. Jede Kundeninteraktion beginnt mit der Informationssuche, die KI-Agenten die Informationen liefert, die sie benötigen, um Gespräche abzuschließen.
„Wenn die Informationssuche langsam ist, ist unser Agent langsam und alles, was daraus resultiert ... und wenn die Informationssuche falsch ist, ist der Agent ebenfalls falsch“, erklärt Christos Melidis, PhD, Staff Machine Learning Scientist bei Ada.
Die erste Herausforderung
Adas Online-Anwendungsfall: Jede Millisekunde zählt
Stellen Sie sich vor, Sie rufen an, stellen einem KI-Agenten eine Frage und hören vor jeder Antwort eine unnatürliche Pause. Ein paar Millisekunden mögen auf dem Papier unbedeutend erscheinen, aber in einem Gespräch spürt man sie. Ein schnelles Retrieval-Modell gibt Kunden mehr Vertrauen, dass ihre Fragen zeitnah beantwortet werden, anstatt sich zu fragen, ob das Gespräch unterbrochen wurde.
„Wenn Sie telefonieren, haben Sie keine visuelle Anzeige. Sie sehen kein Blinken. Sie hören nur Stille“, erklärt Melidis. „Je kürzer die Stille, desto besser.“ Mit anderen Worten: Wenn die Stimme (wörtlich) ins Spiel kommt, ist der Einsatz höher.
Drei Anforderungen
Im Online-Anwendungsfall legte Ada für die Sprachanwendung einen engeren Latenzhaushalt fest als bei der vorherigen Retrieval-Einrichtung möglich war. Die Lösung musste drei Anforderungen erfüllen:
Qualität: Finden der richtigen Informationen in der Wissensdatenbank jedes Kunden
Latenz: Einhaltung eines End-to-End-Latenzhaushalts für Sprachanwendungen, der wenig Spielraum für die Informationssuche ließ
Skalierbarkeit: Leistung in allen Regionen bei mehrinstanzenfähiger Skalierung
Ein strukturierter Ansatz zur Lösungsfindung
Ada führte eine strukturierte Bewertung durch, um eine Lösung für Offline- und Online-Anwendungsfälle zu finden. „Wir sind sehr strukturiert vorgegangen – mit einem Vierfach-Bakeoff“, erklärt Melidis. Beim Bakeoff, einem systematischen, zeitlich begrenzten Testzeitraum, wurde jeder Ansatz anhand beider Ada-Workloads überprüft.
Die Bakeoff-Zutaten:
15.000 Bewertungsabfragen
Online- und Offline-Workloads
Vier Einbettungsansätze
Drei Anforderungen: Qualität, Latenz und Skalierbarkeit
Ein Leitstern: erfolgreiche Problemlösung
Von Anfang an widerlegte der Test eine der Annahmen von Ada: dass eine einzelne Bereitstellung beide Workloads effizient bedienen könnte. Zwei Anwendungsfälle erforderten zwei technologische Lösungen.
Der Test liefert eine wichtige Erkenntnis: zwei Anwendungsfälle, zwei Lösungen
Für die Offline-Indizierung der Wissensdatenbank verwendet Ada Cohere Model Vault. Eine dedizierte, von Cohere verwaltete Infrastruktur führt Modelle privat und in großem Maßstab aus und unterstützt die Massenverarbeitung und -eingabe von Einbettungen. Für den Online-Retrieval-Pfad hostet Ada Cohere Embed
auf dedizierten Amazon SageMaker AI-Instanzen. Cohere Embed wandelt Inhalte und Abfragen in numerische Darstellungen um, mit denen nach semantisch ähnlichen Informationen gesucht werden kann.
„Wir haben eine bessere Leistung, eine bessere Qualität der Antworten und ein besseres Erlebnis für die Kunden gesehen.“
Christos Melidis, PhD, Staff Machine Learning Scientist, Ada
Das Rezept für den Erfolg entsteht
Im Online-Anwendungsfall erwies sich Cohere Embed schnell als Star und erreichte eine Top-10-Abrufgenauigkeit von 90,7 %. Da SageMaker AI geografisch näher an Adas Diensten lag, war es die naheliegende Wahl für die latenzempfindlichen Live-Gespräche. Mit Cohere Embed auf SageMaker AI erreichte Ada eine mittlere Retrieval-Latenz von 77 Millisekunden (ms) – nur 0,077 Sekunden für diesen Schritt im Antwortprozess. Für einen Anrufer hilft das Zeitsparen bei der Informationssuche, die Stille zwischen der Frage und der Antwort des Agenten zu verkürzen.
Bei Offline-Workloads lieferte Model Vault eine etwa 2,7-mal höhere Durchsatzrate pro Dollar als Adas selbstgehostete Lösung. Sein verwalteter Autoscaler bewältigte Republizierungsspitzen schneller als Adas selbstverwaltete Skalierung.
Über das gesamte Retrieval-System hinweg ermöglicht Embed eine Komprimierung ohne Leistungsverlust. Da Embed Komprimierung nativ unterstützt, musste Ada keine eigene Quantisierungs-Pipeline entwickeln. In Adas Dimension – Tausende von Kunden-Wissensdatenbanken, von denen einige Zehntausende von Artikeln enthalten – potenzierten sich die Ergebnisse schnell. Das Team reduzierte seinen Vektor-Speicherbedarf um den Faktor 4, ohne messbare Retrieval-Einbußen. „Das war buchstäblich ein kostenloser Gewinn“, sagt Melidis.
Besseres Retrieval gab Adas Agent:innen bessere Informationen an die Hand, was der übergeordneten Zielsetzung von Ada entspricht: erfolgreiche Problemlösungen.
Eine Partnerschaft, die auf Kundenerfolg heute und in Zukunft setzt
Während des gesamten Prozesses führte Cohere praktische Benchmarks und Experimente durch, um die richtige Konfiguration zu finden, und festigte so Coheres Rolle als vertrauenswürdiger Retrieval-Partner für Ada. Melidis sagt: „Ob wir SageMaker oder Vault nutzten, wir hatten nie das Gefühl, unter Druck zu stehen. Die Teams wollten einfach, dass wir erfolgreich sind.“
Das Ada-Team hat auch klare Vorteile dadurch erzielt, dass es seine Embedding-Modelle auf dedizierten Bereitstellungen statt auf Multi-Tenant-Diensten ausführt, insbesondere bei latenzsensiblen Workloads. Melidis sagt: „Dedizierte Rechenleistung für Embedding-Modelle war für uns neu. Diese Änderung zeigte, wie wichtig eine dedizierte Bereitstellung für das Retrieval ist, wenn Latenz oberste Priorität hat.“
Heute kann Ada seine bestehende AWS-Umgebung für Flexibilität bei der Bereitstellung, Leistung und operative Einfachheit nutzen. Cohere Embed passt nahtlos in die bestehende Architektur, sodass das Team das Retrieval optimieren kann, während die Modelle und die Infrastruktur, die seine Agent:innen bereits unterstützen, erhalten bleiben.
Das Projekt lieferte Ada mehr als nur eine punktuelle Lösung. Es etablierte eine Retrieval-Architektur, die das Team weiterentwickeln kann, während sich sein KI-Stack verändert. Da Cohere bereits neue Suchmodelle, Optimierungen, Modalitäten und regionale Bereitstellungen vorbereitet, ist Ada bereit, die nächsten Schritte zu testen.
