Oct 27, 2026

5 minute read

Ada trouve les bons ingrédients pour des agents IA plus rapides et plus efficaces

Fond texturé violet abstrait avec motifs diagonaux en forme de pinceau, présentant le logo d’Ada centré en blanc.

Key takeaways

  • Accélérer la récupération des agents d’IA : Atteint une latence médiane de 77 ms et un rappel top-10 de 90,7 % avec Cohere Embed sur Amazon SageMaker AI.
  • Améliorer l’efficacité des coûts : Fourni un débit par dollar 2,7 fois supérieur pour l’intégration hors ligne avec Cohere Model Vault.
  • Réduire le stockage de 4 fois : Réduit les besoins de stockage vectoriel sans dégradation mesurable de la récupération.

Ada, le leader reconnu en matière d’expérience client agentique (ACX), aide les entreprises de divers secteurs (compagnies aériennes, services de paiement, commerce de détail, etc.) à résoudre de manière autonome les demandes de service client. Derrière ces actions se trouvent des agents d’IA que chaque client configure avec ses propres connaissances, sa propre voix de marque et ses propres processus, fonctionnant sur le moteur de raisonnement d’Ada. Par exemple, le type de réponse qu’une société de services financiers donne à un client bancaire sera différent de celui qu’une compagnie aérienne donne à un voyageur dont le vol vient d’être annulé.

Mais avant que les agents d’IA ne puissent générer les bonnes réponses, ils doivent trouver les bonnes informations. C’est là qu’intervient la récupération d’informations. Chaque interaction client commence par une récupération d’informations, qui donne aux agents d’IA les informations dont ils ont besoin pour résoudre les conversations.

« Si la récupération est lente, notre agent est lent et tout ce qui en découle... et si la récupération est erronée, alors l’agent l’est aussi », explique Christos Melidis, PhD, Staff Machine Learning Scientist chez Ada.

Le défi initial

Cas d’utilisation en ligne d’Ada : chaque milliseconde compte

Imaginez maintenant que vous appelez et posez une question à un agent d’IA, et que vous entendez un silence unnatural avant chaque réponse. Quelques millisecondes peuvent sembler insignifiantes sur le papier, mais au cours d’une conversation, vous les sentez. Un modèle de récupération rapide donne aux clients davantage confiance dans le fait que leurs questions seront résolues en temps voulu, au lieu de se demander si l’appel a été coupé.

« Si vous êtes au téléphone, vous n’avez pas de visuel. Vous ne voyez pas d’indicateur clignoter. Vous entendez le silence », explique « Plus le silence est court, mieux c’est. » Autrement dit, lorsque la voix entre dans le chat (littéralement), les enjeux sont plus élevés.

Trois exigences

Dans le cas d’utilisation en ligne, Ada a fixé un budget de latence plus serré pour la voix que son précédent système de récupération ne pouvait pas fournir de manière cohérente. La solution devait répondre à trois exigences :

  1. Qualité : Trouver les bonnes informations dans la base de connaissances de chaque client

  2. Latence : S’inscrire dans un budget de latence de bout en bout qui laisse peu de place à la récupération

  3. Échelle : Fonctionner dans toutes les régions à une échelle multi-locataires

Une approche structurée pour trouver une solution

Ada a mené une évaluation structurée pour trouver une solution à la fois pour les cas d’utilisation hors ligne et en ligne. « Nous avons commencé de manière très structurée : un test à quatre voies », explique Melidis. Le test, une période d’essai systématique et limitée dans le temps, a permis de valider chaque approche par rapport aux deux charges de travail d’Ada.

Les ingrédients du test :

  • 15 000 requêtes d'évaluation

  • Charges de travail en ligne et hors ligne

  • Quatre approches d'embedding

  • Trois exigences : qualité, latence et évolutivité

  • Une seule priorité : la réussite de la résolution

Dès le départ, les tests ont remis en question l'une des hypothèses d'Ada : celle selon laquelle un seul déploiement pouvait servir efficacement les deux charges de travail. Deux cas d'utilisation nécessitaient deux solutions technologiques.

Les tests révèlent un élément clé : deux cas d'utilisation, deux solutions

Pour l'indexation hors ligne de la base de connaissances, Ada utilise Cohere Model Vault. Une infrastructure dédiée et gérée par Cohere exécute les modèles de manière privée et à grande échelle, et prend en charge l'embedding et l'ingestion par lots. Pour son parcours de récupération en ligne, Ada auto-héberge Cohere Embed sur des instances dédiées Amazon SageMaker AI. Cohere Embed convertit le contenu et les requêtes en représentations numériques qui permettent de rechercher des informations sémantiquement similaires.

In-content banner image
« Nous avons constaté de meilleures performances, une meilleure qualité des réponses et une meilleure expérience pour les clients. »

Christos Melidis, PhD, Staff Machine Learning Scientist, Ada

La recette du succès se dessine

Dans le cas d'utilisation en ligne, Cohere Embed s'est rapidement imposé comme une star, atteignant un rappel top-10 de 90,7 %. SageMaker AI étant géographiquement plus proche des services d'Ada, il s'agissait du choix le plus logique pour les conversations en direct sensibles à la latence. Avec Cohere Embed sur SageMaker AI, Ada a atteint une latence de récupération médiane de 77 millisecondes (ms) – seulement 0,077 seconde pour cette étape du processus de réponse. Pour un appelant, gagner du temps sur la récupération permet de réduire le silence entre la pose d'une question et la réponse de l'agent.

Pour les charges de travail hors ligne, Model Vault a permis d’obtenir un débit par dollar environ 2,7 fois supérieur à celui de l’installation auto-hébergée d’Ada. Son autoscaler géré a traité les pics de republication plus rapidement que la mise à l’échelle autogérée d’Ada.

Dans l’ensemble du système de récupération, Embed permet une compression sans impact sur les performances. Puisque Embed prend en charge la compression de manière native, Ada n’a pas eu besoin de créer son propre pipeline de quantification. À l’échelle d’Ada (des milliers de bases de connaissances client, dont certaines contiennent des dizaines de milliers d’articles), les résultats se sont rapidement accumulés. L’équipe a réduit son empreinte de stockage vectoriel par 4 sans dégradation mesurable de la récupération. « C’était littéralement une victoire gratuite », explique Melidis.

Une meilleure récupération a permis aux agents d’Ada de disposer de meilleures informations, soutenant ainsi sa mesure phare : la résolution réussie.

Un partenariat axé sur la réussite client, aujourd’hui et demain

Tout au long du processus, Cohere a fourni des analyses comparatives et des expériences pratiques pour trouver la bonne configuration, ce qui a permis de consolider Cohere en tant que partenaire de récupération de confiance pour Ada. Selon Melidis, « que nous utilisions SageMaker ou Vault, nous n’avons pas ressenti de pression particulière. Les équipes voulaient simplement que nous réussissions. »

L’équipe d’Ada a également constaté des avantages évidents en exécutant ses modèles d’embedding sur des déploiements dédiés plutôt que sur des services multilocataires, en particulier pour les charges de travail sensibles à la latence. Selon Melidis : « Le calcul dédié pour les modèles d’embedding était nouveau pour nous. Ce changement a montré à quel point un déploiement dédié est important pour la récupération lorsque la latence est une préoccupation majeure. »

Aujourd’hui, Ada peut utiliser son environnement AWS existant pour la flexibilité de déploiement, les performances et la simplicité opérationnelle. Cohere Embed pouvait s’intégrer à son architecture existante, permettant à l’équipe d’optimiser la récupération tout en préservant les modèles et l’infrastructure déjà en place pour ses agents.

Le projet a permis à Ada d’obtenir plus qu’une solution ponctuelle. Il a établi une architecture de récupération que l’équipe peut continuer à faire évoluer à mesure que sa pile d’IA change. Alors que Cohere prépare déjà de nouveaux modèles de recherche, des optimisations, des modalités et des déploiements régionaux, Ada est prête à continuer à tester ce qui vient ensuite.

What to read next