Ada, leader de confiance dans le domaine de l’expérience client agentique (ACX), aide les entreprises, des compagnies aériennes aux services de paiement en passant par la vente au détail, à résoudre de manière autonome les demandes de service client. Derrière ces actions se trouvent des agents d’IA que chaque client configure avec ses propres connaissances, sa propre voix de marque et ses propres processus, fonctionnant sur le moteur de raisonnement d’Ada. Par exemple, le type de réponse qu’une société de services financiers donne à un client bancaire sera différent de celui qu’une compagnie aérienne donne à un voyageur dont le vol vient d’être annulé.
Mais avant que les agents d’IA ne puissent générer les bonnes réponses, ils doivent trouver les bonnes informations. C’est là qu’intervient la récupération d’informations. Chaque interaction client commence par une récupération d’informations, ce qui donne aux agents d’IA les informations dont ils ont besoin pour résoudre les conversations.
« Si la récupération est lente, notre agent est lent et tout ce qui en découle… et si la récupération est erronée, alors l’agent l’est aussi », explique Christos Melidis, PhD, Staff Machine Learning Scientist chez Ada.
Le défi initial
Le cas d’utilisation en ligne d’Ada : chaque milliseconde compte
Imaginez maintenant que vous appelez et posez une question à un agent d’IA, et que vous entendez un silence unnatural avant chaque réponse. Quelques millisecondes peuvent sembler insignifiantes sur le papier, mais au cours d’une conversation, vous les ressentez. Un modèle de récupération rapide donne aux clients davantage confiance dans le fait que leurs questions recevront une réponse en temps voulu, au lieu de se demander si l’appel a été coupé.
« Si vous êtes au téléphone, vous n’avez pas de visuel. Vous ne voyez pas d’indicateur clignoter. Vous entendez le silence », explique « Plus le silence est court, mieux c’est. » Autrement dit, lorsque la voix entre dans le chat (littéralement), les enjeux sont plus élevés.
Trois exigences
Dans le cas d’utilisation en ligne, Ada a défini un budget de latence plus serré pour la voix que son système de récupération précédent ne pouvait pas fournir de manière cohérente. La solution devait répondre à trois exigences :
Qualité : Trouver les bonnes informations dans la base de connaissances de chaque client
Latence : S’inscrire dans un budget de latence de bout en bout qui laisse peu de place à la récupération
Échelle : Fonctionner dans différentes régions à une échelle multi-locataire
Une approche structurée pour trouver une solution
Ada a mené une évaluation structurée pour trouver une solution à la fois pour les cas d’utilisation hors ligne et en ligne. « Nous avons commencé de manière très structurée, avec un test à quatre voies », explique Melidis. Le test, une période d’essai systématique et limitée dans le temps, a évalué chaque approche par rapport aux deux charges de travail d’Ada.
Les ingrédients du test :
15 000 requêtes d’évaluation
Charges de travail en ligne et hors ligne
Quatre approches d’intégration
Trois exigences : qualité, latence et échelle
Un objectif principal : résolution réussie
Dès le départ, le test a remis en question l’une des hypothèses d’Ada : qu’un seul déploiement pouvait servir efficacement les deux charges de travail. Deux cas d’utilisation exigeaient deux solutions technologiques.
Le test révèle une information clé : deux cas d’utilisation, deux solutions
Pour l’indexation hors ligne de la base de connaissances, Ada utilise Cohere Model Vault. Une infrastructure dédiée et gérée par Cohere exécute des modèles en privé et à grande échelle, et prend en charge l’intégration et l’ingestion en bloc. Pour son parcours de récupération en ligne, Ada auto-héberge Cohere Embed
sur des instances dédiées Amazon SageMaker AI. Cohere Embed convertit le contenu et les requêtes en représentations numériques qui permettent de rechercher des informations sémantiquement similaires.
« Nous avons constaté de meilleures performances, une meilleure qualité dans les réponses et une meilleure expérience pour les clients. »
Christos Melidis, PhD, Staff Machine Learning Scientist, Ada
La recette du succès se dessine
Dans le cas d’utilisation en ligne, Cohere Embed s’est rapidement imposé comme une star, atteignant un rappel de 90,7 % dans le top 10. Comme SageMaker AI était géographiquement plus proche des services d’Ada, c’était le choix logique pour les conversations en direct sensibles à la latence. Avec Cohere Embed sur SageMaker AI, Ada a atteint une latence de récupération médiane de 77 millisecondes (ms), soit seulement 0,077 seconde pour cette étape du processus de réponse. Pour un appelant, gagner du temps sur la récupération permet de réduire le silence entre la pose d’une question et l’écoute de la réponse de l’agent.
Pour les charges de travail hors ligne, Model Vault a permis d’obtenir un débit par dollar environ 2,7 fois supérieur à celui de l’installation auto-hébergée d’Ada. Son autoscaler géré a permis de gérer les pics de republication plus rapidement que l’échelle auto-gérée d’Ada.
Dans l’ensemble du système de récupération, Embed permet une compression sans impact sur les performances. Puisque Embed prend en charge la compression de manière native, Ada n’a pas eu besoin de créer son propre pipeline de quantification. À l’échelle d’Ada (des milliers de bases de connaissances clients, dont certaines contiennent des dizaines de milliers d’articles), les résultats se sont rapidement accumulés. L’équipe a réduit son empreinte de stockage vectoriel par 4 sans dégradation mesurable de la récupération. « C’était littéralement une victoire gratuite », explique Melidis.
Une meilleure récupération a permis aux agents d’Ada de disposer de meilleures informations, soutenant ainsi sa mesure phare : la résolution réussie.
Un partenariat axé sur la réussite client, aujourd’hui et demain
Tout au long du processus, Cohere a fourni des benchmarks et des expériences pratiques pour trouver la bonne configuration, contribuant ainsi à renforcer la position de Cohere en tant que partenaire de récupération de confiance pour Ada. Selon Melidis, « Que nous utilisions SageMaker ou Vault, nous n’avons pas ressenti de pression particulière. Les équipes voulaient simplement que nous réussissions. »
L’équipe d’Ada a également constaté des avantages évidents en exécutant ses modèles d’embedding sur des déploiements dédiés plutôt que sur des services multi-locataires, en particulier pour les charges de travail sensibles à la latence. Selon Melidis : « Le calcul dédié pour les modèles d’embedding était nouveau pour nous. Ce changement a montré à quel point un déploiement dédié est important pour la récupération lorsque la latence est une préoccupation majeure. »
Aujourd’hui, Ada peut utiliser son environnement AWS existant pour bénéficier d’une flexibilité de déploiement, de performances et d’une simplicité opérationnelle. Cohere Embed pouvait s’intégrer à son architecture existante, permettant à l’équipe d’optimiser la récupération tout en conservant les modèles et l’infrastructure déjà en place pour ses agents.
Le projet a permis à Ada d’obtenir plus qu’une solution ponctuelle. Il a établi une architecture de récupération que l’équipe peut continuer à faire évoluer à mesure que sa pile d’IA change. Alors que Cohere prépare déjà de nouveaux modèles de recherche, des optimisations, des modalités et des déploiements régionaux, Ada est prête à continuer de tester ce qui vient ensuite.
