Oct 27, 2026

4 minute read

Ada findet die richtigen Zutaten für schnellere, effizientere KI-Agenten

Abstrakter lila Hintergrund mit diagonalen, pinselartigen Mustern und dem Ada-Logo in Weiß in der Mitte.

Key takeaways

  • Beschleunigen Sie die Abfrage von KI-Agenten: Erreichte 77 ms mittlere Latenz und 90,7 % Top-10-Recall mit Cohere Embed auf Amazon SageMaker AI.
  • Steigern Sie die Kosteneffizienz: Erzielte 2,7-mal höhere Durchsatzleistung pro Dollar für Offline-Einbettungen mit Cohere Model Vault.
  • Reduzieren Sie den Speicherbedarf um den Faktor 4: Senkte die Anforderungen an die Vektorspeicherung ohne messbare Beeinträchtigung der Abrufleistung.

Ada, der vertrauenswürdige Marktführer im Bereich agentischer Kundenerlebnisse (ACX), unterstützt Unternehmen – von Fluggesellschaften über Zahlungsdienstleister bis hin zum Einzelhandel – dabei, Kundenanfragen im Kundenservice autonom zu bearbeiten. Dahinter stehen KI-Agenten, die jeder Kunde mit eigenem Wissen, Marken-Voice und Prozessen konfiguriert und die auf der Ada Reasoning Engine laufen. So gibt beispielsweise ein Finanzdienstleister einem Bankkunden eine andere Antwort als eine Fluggesellschaft einem Reisenden, dessen Flug gerade gestrichen wurde.

Bevor KI-Agenten jedoch die richtigen Antworten generieren können, müssen sie die richtigen Informationen finden. Hier kommt das Retrieval ins Spiel. Jede Kundeninteraktion beginnt mit dem Retrieval, das den KI-Agenten die Informationen liefert, die sie benötigen, um die Konversation zu lösen.

„Wenn das Retrieval langsam ist, ist unser Agent langsam und alles, was daraus resultiert ... und wenn das Retrieval falsch ist, ist der Agent ebenfalls falsch“, erklärt Christos Melidis, PhD, Staff Machine Learning Scientist bei Ada.

Die erste Herausforderung

Adas Online-Anwendungsfall: Jede Millisekunde zählt

Stellen Sie sich vor, Sie rufen an und stellen einem KI-Agenten eine Frage. Vor jeder Antwort hören Sie eine unnatürliche Pause. Ein paar Millisekunden mögen auf dem Papier unbedeutend erscheinen, aber in einem Gespräch spürt man sie. Ein schnelles Retrieval-Modell gibt Kunden mehr Vertrauen, dass ihre Fragen zeitnah beantwortet werden, anstatt sich zu fragen, ob das Gespräch abgebrochen wurde.

„Wenn Sie am Telefon sind, haben Sie keine visuelle Anzeige. Sie sehen kein Blinken. Sie hören nur Stille“, erklärt Melidis. „Je kürzer die Stille, desto besser.“ Mit anderen Worten: Wenn die Stimme (wörtlich) ins Spiel kommt, sind die Anforderungen höher.

Drei Anforderungen

Im Online-Anwendungsfall setzte Ada ein engeres Latenzbudget für die Sprache fest, das mit der bisherigen Retrieval-Lösung nicht konsistent erreicht werden konnte. Die Lösung musste drei Anforderungen erfüllen:

  1. Qualität: Finden der richtigen Informationen in der Wissensdatenbank jedes Kunden

  2. Latenz: Einhaltung eines End-to-End-Sprachlatenzbudgets, das wenig Spielraum für das Retrieval ließ

  3. Skalierbarkeit: Leistung in allen Regionen im Multi-Tenant-Maßstab

Ein strukturierter Ansatz zur Lösungsfindung

Ada führte eine strukturierte Bewertung durch, um eine Lösung für sowohl Offline- als auch Online-Anwendungsfälle zu finden. „Wir sind sehr strukturiert vorgegangen – mit einem Vier-Wege-Bakeoff“, erklärt Melidis. Beim Bakeoff, einer systematischen, zeitlich begrenzten Testphase, wurde jeder Ansatz gegen beide Ada-Workloads geprüft.

Zutaten für den Bakeoff:

  • 15.000 Testabfragen

  • Online- und Offline-Workloads

  • Vier Embedding-Ansätze

  • Drei Anforderungen: Qualität, Latenz und Skalierbarkeit

  • Ein Leitstern: erfolgreiche Problemlösung

Von Anfang an stellte der Test eine der Annahmen von Ada infrage: dass ein einzelner Einsatz beide Workloads effizient bedienen könnte. Zwei Anwendungsfälle erforderten zwei Technologielösungen.

Test liefert wichtige Erkenntnis: zwei Anwendungsfälle, zwei Lösungen

Für die Offline-Indizierung der Wissensdatenbank setzt Ada auf Cohere Model Vault. Eine dedizierte, von Cohere verwaltete Infrastruktur führt Modelle privat und im großen Maßstab aus und unterstützt Bulk-Embedding und -Ingestion. Für den Online-Retrieval-Pfad hostet Ada Cohere Embed auf dedizierten Amazon SageMaker AI-Instanzen. Cohere Embed wandelt Inhalte und Abfragen in numerische Darstellungen um, die die Suche nach semantisch ähnlichen Informationen ermöglichen.

In-content banner image
„Wir sahen bessere Leistung, bessere Antwortqualität und ein besseres Erlebnis für die Kunden.“

Christos Melidis, PhD, Staff Machine Learning Scientist, Ada

Das Erfolgsrezept entsteht

Im Online-Anwendungsfall erwies sich Cohere Embed schnell als Star und erreichte eine Top-10-Recall-Rate von 90,7 %. Da SageMaker AI geografisch näher an Adas Diensten lag, war es die naheliegende Wahl für die latenzempfindlichen Live-Gespräche. Mit Cohere Embed auf SageMaker AI erreichte Ada eine mittlere Retrieval-Latenz von 77 Millisekunden (ms) – also nur 0,077 Sekunden für diesen Schritt im Antwortprozess. Für einen Anrufer hilft das Zeitsparen bei der Suche dabei, die Stille zwischen der Frage und der Antwort des Agenten zu verkürzen.

Bei Offline-Workloads lieferte Model Vault eine um ca. 2,7-mal höhere Durchsatzrate pro Dollar als Adas selbstgehostete Lösung. Der verwaltete Autoscaler bewältigte Republizierungsspitzen schneller als Adas selbstverwaltete Skalierung.

Im gesamten Retrieval-System ermöglicht Embed eine Komprimierung ohne Leistungseinbußen. Da Embed Komprimierung nativ unterstützt, musste Ada keine eigene Quantisierungspipeline entwickeln. Bei Adas Größe – Tausende von Kunden-Wissensdatenbanken, von denen einige Zehntausende von Artikeln enthalten – potenzierten sich die Ergebnisse schnell. Das Team reduzierte seinen Vektor-Speicherbedarf um den Faktor 4, ohne messbare Verschlechterung der Retrieval-Leistung. „Das war buchstäblich ein kostenloser Gewinn“, sagt Melidis.

Bessere Retrieval-Ergebnisse lieferten Adas Agent:innen bessere Informationen, was der wichtigsten Kennzahl des Unternehmens zugutekam: erfolgreiche Problemlösungen.

Eine Partnerschaft, die auf Kundenerfolg setzt – heute und in Zukunft

Im Laufe des Prozesses führte Cohere praktische Benchmarks und Experimente durch, um die richtige Konfiguration zu finden, und festigte so seine Position als vertrauenswürdiger Retrieval-Partner für Ada. Melidis sagt: „Ob wir nun SageMaker oder Vault nutzten, wir hatten nie das Gefühl, unter Druck zu stehen. Die Teams wollten einfach, dass wir erfolgreich sind.“

Das Ada-Team hat auch klare Vorteile dadurch erzielt, dass es seine Embedding-Modelle auf dedizierten Bereitstellungen statt auf Multi-Tenant-Diensten ausführt, insbesondere bei latenzempfindlichen Workloads. Melidis sagt: „Dedizierte Rechenleistung für Embedding-Modelle war für uns neu. Diese Änderung hat gezeigt, wie wichtig eine dedizierte Bereitstellung für das Retrieval ist, wenn Latenz eine zentrale Rolle spielt.“

Heute kann Ada seine bestehende AWS-Umgebung für Flexibilität bei der Bereitstellung, Leistung und einfache Verwaltung nutzen. Cohere Embed passte nahtlos in die bestehende Architektur, sodass das Team das Retrieval optimieren konnte, während die Modelle und die Infrastruktur, die seine Agent:innen bereits unterstützen, erhalten blieben.

Das Projekt lieferte Ada mehr als nur eine punktuelle Lösung. Es etablierte eine Retrieval-Architektur, die das Team weiterentwickeln kann, während sich sein KI-Stack verändert. Da Cohere bereits neue Suchmodelle, Optimierungen, Modalitäten und regionale Bereitstellungen vorbereitet, ist Ada bereit, die nächsten Schritte zu testen.

What to read next