Ada, der vertrauenswürdige Marktführer im Bereich agentischer Kundenerlebnisse (ACX), unterstützt Unternehmen – von Fluggesellschaften über Zahlungsdienstleister bis hin zum Einzelhandel – dabei, Kundenanfragen im Kundenservice autonom zu bearbeiten. Dahinter stehen KI-Agenten, die jeder Kunde mit eigenem Wissen, Marken-Voice und Prozessen konfiguriert und die auf der Ada Reasoning Engine laufen. So gibt beispielsweise ein Finanzdienstleister einem Bankkunden eine andere Antwort als eine Fluggesellschaft einem Reisenden, dessen Flug gerade gestrichen wurde.
Bevor KI-Agenten jedoch die richtigen Antworten generieren können, müssen sie die richtigen Informationen finden. Hier kommt das Retrieval ins Spiel. Jede Kundeninteraktion beginnt mit dem Retrieval, das den KI-Agenten die Informationen liefert, die sie benötigen, um die Konversation zu lösen.
„Wenn das Retrieval langsam ist, ist unser Agent langsam und alles, was daraus resultiert ... und wenn das Retrieval falsch ist, ist der Agent ebenfalls falsch“, erklärt Christos Melidis, PhD, Staff Machine Learning Scientist bei Ada.
Die erste Herausforderung
Adas Online-Anwendungsfall: Jede Millisekunde zählt
Stellen Sie sich vor, Sie rufen an und stellen einem KI-Agenten eine Frage. Vor jeder Antwort hören Sie eine unnatürliche Pause. Ein paar Millisekunden mögen auf dem Papier unbedeutend erscheinen, aber in einem Gespräch spürt man sie. Ein schnelles Retrieval-Modell gibt Kunden mehr Vertrauen, dass ihre Fragen zeitnah beantwortet werden, anstatt sich zu fragen, ob das Gespräch abgebrochen wurde.
„Wenn Sie am Telefon sind, haben Sie keine visuelle Anzeige. Sie sehen kein Blinken. Sie hören nur Stille“, erklärt Melidis. „Je kürzer die Stille, desto besser.“ Mit anderen Worten: Wenn die Stimme (wörtlich) ins Spiel kommt, sind die Anforderungen höher.
Drei Anforderungen
Im Online-Anwendungsfall setzte Ada ein engeres Latenzbudget für die Sprache fest, das mit der bisherigen Retrieval-Lösung nicht konsistent erreicht werden konnte. Die Lösung musste drei Anforderungen erfüllen:
Qualität: Finden der richtigen Informationen in der Wissensdatenbank jedes Kunden
Latenz: Einhaltung eines End-to-End-Sprachlatenzbudgets, das wenig Spielraum für das Retrieval ließ
Skalierbarkeit: Leistung in allen Regionen im Multi-Tenant-Maßstab
Ein strukturierter Ansatz zur Lösungsfindung
Ada führte eine strukturierte Bewertung durch, um eine Lösung für sowohl Offline- als auch Online-Anwendungsfälle zu finden. „Wir sind sehr strukturiert vorgegangen – mit einem Vier-Wege-Bakeoff“, erklärt Melidis. Beim Bakeoff, einer systematischen, zeitlich begrenzten Testphase, wurde jeder Ansatz gegen beide Ada-Workloads geprüft.
Zutaten für den Bakeoff:
15.000 Testabfragen
Online- und Offline-Workloads
Vier Embedding-Ansätze
Drei Anforderungen: Qualität, Latenz und Skalierbarkeit
Ein Leitstern: erfolgreiche Problemlösung
Von Anfang an stellte der Test eine der Annahmen von Ada infrage: dass ein einzelner Einsatz beide Workloads effizient bedienen könnte. Zwei Anwendungsfälle erforderten zwei Technologielösungen.
Test liefert wichtige Erkenntnis: zwei Anwendungsfälle, zwei Lösungen
Für die Offline-Indizierung der Wissensdatenbank setzt Ada auf Cohere Model Vault. Eine dedizierte, von Cohere verwaltete Infrastruktur führt Modelle privat und im großen Maßstab aus und unterstützt Bulk-Embedding und -Ingestion. Für den Online-Retrieval-Pfad hostet Ada Cohere Embed auf dedizierten Amazon SageMaker AI-Instanzen. Cohere Embed wandelt Inhalte und Abfragen in numerische Darstellungen um, die die Suche nach semantisch ähnlichen Informationen ermöglichen.
Das Erfolgsrezept entsteht
Im Online-Anwendungsfall erwies sich Cohere Embed schnell als Star und erreichte eine Top-10-Recall-Rate von 90,7 %. Da SageMaker AI geografisch näher an Adas Diensten lag, war es die naheliegende Wahl für die latenzempfindlichen Live-Gespräche. Mit Cohere Embed auf SageMaker AI erreichte Ada eine mittlere Retrieval-Latenz von 77 Millisekunden (ms) – also nur 0,077 Sekunden für diesen Schritt im Antwortprozess. Für einen Anrufer hilft das Zeitsparen bei der Suche dabei, die Stille zwischen der Frage und der Antwort des Agenten zu verkürzen.
Bei Offline-Workloads lieferte Model Vault eine um ca. 2,7-mal höhere Durchsatzrate pro Dollar als Adas selbstgehostete Lösung. Der verwaltete Autoscaler bewältigte Republizierungsspitzen schneller als Adas selbstverwaltete Skalierung.
Im gesamten Retrieval-System ermöglicht Embed eine Komprimierung ohne Leistungseinbußen. Da Embed Komprimierung nativ unterstützt, musste Ada keine eigene Quantisierungspipeline entwickeln. Bei Adas Größe – Tausende von Kunden-Wissensdatenbanken, von denen einige Zehntausende von Artikeln enthalten – potenzierten sich die Ergebnisse schnell. Das Team reduzierte seinen Vektor-Speicherbedarf um den Faktor 4, ohne messbare Verschlechterung der Retrieval-Leistung. „Das war buchstäblich ein kostenloser Gewinn“, sagt Melidis.
Bessere Retrieval-Ergebnisse lieferten Adas Agent:innen bessere Informationen, was der wichtigsten Kennzahl des Unternehmens zugutekam: erfolgreiche Problemlösungen.
Eine Partnerschaft, die auf Kundenerfolg setzt – heute und in Zukunft
Im Laufe des Prozesses führte Cohere praktische Benchmarks und Experimente durch, um die richtige Konfiguration zu finden, und festigte so seine Position als vertrauenswürdiger Retrieval-Partner für Ada. Melidis sagt: „Ob wir nun SageMaker oder Vault nutzten, wir hatten nie das Gefühl, unter Druck zu stehen. Die Teams wollten einfach, dass wir erfolgreich sind.“
Das Ada-Team hat auch klare Vorteile dadurch erzielt, dass es seine Embedding-Modelle auf dedizierten Bereitstellungen statt auf Multi-Tenant-Diensten ausführt, insbesondere bei latenzempfindlichen Workloads. Melidis sagt: „Dedizierte Rechenleistung für Embedding-Modelle war für uns neu. Diese Änderung hat gezeigt, wie wichtig eine dedizierte Bereitstellung für das Retrieval ist, wenn Latenz eine zentrale Rolle spielt.“
Heute kann Ada seine bestehende AWS-Umgebung für Flexibilität bei der Bereitstellung, Leistung und einfache Verwaltung nutzen. Cohere Embed passte nahtlos in die bestehende Architektur, sodass das Team das Retrieval optimieren konnte, während die Modelle und die Infrastruktur, die seine Agent:innen bereits unterstützen, erhalten blieben.
Das Projekt lieferte Ada mehr als nur eine punktuelle Lösung. Es etablierte eine Retrieval-Architektur, die das Team weiterentwickeln kann, während sich sein KI-Stack verändert. Da Cohere bereits neue Suchmodelle, Optimierungen, Modalitäten und regionale Bereitstellungen vorbereitet, ist Ada bereit, die nächsten Schritte zu testen.












