Adaは、エージェンシー型カスタマーエクスペリエンス(ACX)の信頼できるリーダーとして、航空会社から決済、小売業まで、さまざまな企業が顧客サービスの問い合わせを自律的に解決できるよう支援しています。これらのアクションの背後には、各顧客が独自の知識、ブランドボイス、プロセスで構成し、Adaの推論エンジン上で実行されるAIエージェントが存在します。例えば、金融サービス会社が銀行顧客に提供する回答の種類は、航空会社がフライトがキャンセルされた旅行者に提供する回答とは異なります。
しかし、AIエージェントが正しい回答を生成する前に、正しい情報を見つけ出す必要があります。そこで重要となるのが「検索」です。すべての顧客とのやり取りは検索から始まり、AIエージェントが会話を解決するために必要な情報を提供します。
「検索が遅ければ、エージェントも遅くなり、それによって生じるすべてのものが遅れます…そして、検索が間違っていれば、エージェントも間違った回答をします」と、Adaのスタッフ機械学習サイエンティストであるChristos Melidis博士は説明します。
最初の課題
Adaのオンライン利用事例:ミリ秒が命運を分ける
さて、電話でAIエージェントに質問し、各回答の前に不自然な間がある状況を想像してみてください。数ミリ秒の遅延は書面では取るに足らないように思えるかもしれませんが、会話の中では明確に感じられます。高速な検索モデルは、顧客に質問がタイムリーに回答されるという自信を与え、通話が切れたのではないかと心配する必要がなくなります。
「電話では視覚的な情報がありません。点滅するインジケーターも見えず、ただ沈黙が流れます」とMelidis博士は説明します。「沈黙が短いほど、より良い体験となります」。つまり、音声が会話に含まれる場合(文字通り)、その重要性はさらに高まります。
3つの要件
オンライン利用事例において、Adaは従来の検索設定では一貫して達成できなかった、音声に対するより厳しいレイテンシ予算を設定しました。解決策は次の3つの要件を満たす必要がありました:
品質:各顧客のナレッジベースから正しい情報を見つけること
レイテンシ:エンドツーエンドの音声レイテンシ予算内に収めること。検索にはほとんど余裕がない
スケーラビリティ:複数テナント規模で地域をまたいでパフォーマンスを発揮すること
解決策を見つけるための構造化されたアプローチ
Adaは、オフラインおよびオンラインの利用事例の両方に対して解決策を見つけるため、構造化された評価を実施しました。「私たちは非常に構造化された方法で始めました—4つのアプローチを比較するベークオフです」とMelidis博士は説明します。このベークオフは、体系的で時間制限のあるテスト期間であり、Adaのワークロードの両方に対して各アプローチを検証しました。
ベークオフの材料:
15,000の評価クエリ
オンラインおよびオフラインのワークロード
4つの埋め込みアプローチ
3つの要件:品質、レイテンシ、スケーラビリティ
1つの北極星:成功した解決
最初から、このテストはAdaの仮定の一つに挑戦しました。それは、単一のデプロイメントで効率的に両方のワークロードを処理できるというものでした。2つのユースケースには、2つの技術的ソリューションが必要でした。
テストから得られた重要な洞察:2つのユースケース、2つのソリューション
オフラインのナレッジベースインデックス作成では、Adaは Cohere Model Vaultを使用しています。Cohereが管理する専用インフラストラクチャは、モデルをプライベートかつ大規模に実行し、バルク埋め込みと取り込みをサポートします。オンラインの検索パスでは、Adaは専用の Cohere Embed を Amazon SageMaker AI インスタンス上でセルフホストしています。Cohere Embedは、コンテンツとクエリを数値表現に変換し、意味的に類似した情報を検索可能にします。
成功のレシピが明らかに
オンラインのユースケースでは、Cohere Embedがすぐにスターとして台頭し、トップ10のリコール率90.7%を達成しました。SageMaker AIはAdaのサービスに地理的に近かったため、レイテンシに敏感なライブ会話には賢明な選択でした。Cohere EmbedをSageMaker AI上で使用することで、Adaは中央値の検索レイテンシを77ミリ秒(ms)— 応答プロセスのそのステップに0.077秒しかかからない — に達成しました。呼び出し側にとって、検索時間を短縮することで、質問をしてからエージェントの応答を聞くまでの沈黙を減らすことができます。
オフライン処理では、Model VaultはAdaのセルフホスティング環境と比較して、コスト効率が約2.7倍向上しました。マネージドオートスケーラーにより、再公開時のトラフィックスパイクにも、Adaの自社管理型スケーリングよりも迅速に対応できました。
検索システム全体において、Embedはパフォーマンスを犠牲にすることなくデータ圧縮を実現します。Embedがネイティブで圧縮をサポートしているため、Adaは独自の量子化パイプラインを構築する必要がありませんでした。Adaの規模(数千の顧客ナレッジベース、中には数万の記事を含むものも)では、この効果はすぐに顕著になりました。チームはベクトルストレージのフットプリントを4分の1に削減し、検索精度を維持したまま実現しました。「完全に無料で得られた成果でした」とMelidisは語ります。
検索精度の向上により、Adaのエージェントはより良い情報を利用できるようになり、その結果、最重要指標である「問題解決率」が向上しました。
顧客の成功を軸とした、現在と未来を見据えたパートナーシップ
このプロセスを通じて、Cohereは最適な構成を見つけるためのベンチマークと実験を直接支援し、Adaにとって信頼できる検索パートナーとしての地位を確立しました。Melidisは次のように述べています。「SageMakerであれVaultであれ、私たちは強いプレッシャーを感じることなく、Cohereのチームから成功を後押ししてもらえました」
Adaチームは、マルチテナントサービスではなく専用環境で埋め込みモデルを実行することで、特にレイテンシーが重要なワークロードにおいて明確なメリットを実感しています。Melidisは次のように述べています。「埋め込みモデル専用のリソースは、私たちにとって新しい試みでした。この変更により、レイテンシーが最重要課題である場合、専用環境が検索に与える影響の大きさを実感しました」
現在、Adaは既存のAWS環境を活用し、柔軟なデプロイ、パフォーマンス、運用の容易性を実現しています。Cohere Embedは既存のアーキテクチャにシームレスに統合でき、チームは検索を最適化しつつ、エージェントを支える既存のモデルとインフラを維持できます。
このプロジェクトは、Adaに単なる問題解決以上の価値をもたらしました。AIスタックが進化する中でも継続的に発展できる検索アーキテクチャを確立したのです。Cohereが新たな検索モデル、最適化、モダリティ、リージョン別デプロイを準備する中、Adaは次なる革新に備えています。












