Adaは、航空会社から決済、小売業まで、さまざまな業界の企業が顧客からの問い合わせに自律的に対応できるよう支援する、エージェンシー型カスタマーエクスペリエンス（ACX）の信頼できるリーディングカンパニーです。これらの対応を支えるのは、各顧客が独自のナレッジ、ブランドボイス、プロセスを組み込んで設定したAIエージェントで、Adaの推論エンジン上で動作します。例えば、金融サービス会社が銀行顧客に提供する回答の種類は、航空会社がフライトキャンセルを受けた旅行者に提供する回答とは異なります。
しかし、AIエージェントが適切な回答を生成するには、まず適切な情報を見つけなければなりません。ここにリトリーバル（情報検索）が関わってきます。顧客とのやり取りはすべてリトリーバルから始まり、AIエージェントが会話を解決するために必要な情報を提供します。
Adaのスタッフ・マシンラーニングサイエンティストであるChristos Melidis博士は次のように説明しています。「リトリーバルが遅いと、エージェントの動作が遅くなり、それに伴うすべてが遅くなります。そして、リトリーバルが間違っていれば、エージェントも間違った動作をします」
最初の課題
Adaのオンライン利用事例：1ミリ秒も無駄にできない
ここで、電話をかけてAIエージェントに質問し、すべての回答の前に不自然な間がある状況を想像してみてください。数ミリ秒の遅延は、書面では取るに足らないものに思えるかもしれませんが、会話の中では感じ取ることができます。高速なリトリーバルモデルは、顧客が質問に対する迅速な回答を確信できるようにし、通話が切れたのではないかと心配する必要がなくなります。
Melidis博士は次のように説明します。「電話では視覚的な情報がありません。点滅するインジケーターも見えません。聞こえるのは無音だけです。無音が短ければ短いほど良いのです」つまり、音声がチャットに（文字通り）入ってくると、より高い精度が求められるのです。
3つの要件
オンラインでの利用事例において、Adaは、従来の検索設定では実現できなかった、より厳しいレイテンシーの予算を音声に設定しました。このソリューションには、以下の3つの要件を満たす必要がありました。
品質：各顧客のナレッジベースから適切な情報を見つける
レイテンシー：リトリーバルにほとんど時間を割けないエンドツーエンドの音声レイテンシーバジェットに収める
スケーラビリティ：地域をまたいでマルチテナントスケールでパフォーマンスを発揮する
ソリューションを見つけるための構造化されたアプローチ
Adaは、オフラインおよびオンラインの利用事例の両方に対してソリューションを見つけるために、構造化された評価を実施しました。Melidis博士は次のように説明しています。「私たちは非常に構造化された方法で始めました。4つの方法でベーコフ（比較試験）を行ったのです」。このベーコフは、体系的で時間制限のあるテスト期間で、Adaのワークロードの両方に対して、各アプローチを検証しました。
ベーコフの材料：
15,000の評価クエリ
オンラインおよびオフラインのワークロード
4つの埋め込みアプローチ
3つの要件：品質、レイテンシー、スケーラビリティ
1つの目標：成功裏に解決する
テストは、Adaの仮定の一つ、つまり単一のデプロイメントで効率的に両方のワークロードを処理できるという仮定に、最初から挑戦しました。2つの利用事例には、2つの技術的ソリューションが必要でした。
テストから得られた重要な洞察：2つの利用事例、2つのソリューション
オフラインのナレッジベースのインデックス作成には、Adaは Cohere Model Vault を使用しています。専用でCohereが管理するインフラにより、モデルをプライベートでスケーラブルに実行し、バルク埋め込みと取り込みをサポートします。オンラインの検索パスでは、Adaは専用の Cohere Embed
を Amazon SageMaker AI インスタンス上でセルフホストしています。Cohere Embedは、コンテンツとクエリを数値表現に変換し、意味的に類似した情報の検索を可能にします。
「パフォーマンス、回答の品質、クライアントの体験のすべてが向上しました」
Christos Melidis, PhD, Staff Machine Learning Scientist, Ada
成功へのレシピが明らかに
オンラインでの利用事例では、Cohere Embedがすぐに頭角を現し、トップ10のリコール率で90.7％を達成しました。SageMaker AIはAdaのサービスに地理的に近かったため、レイテンシーに敏感なライブ会話には最適な選択肢でした。Cohere EmbedをSageMaker AI上で使用することで、Adaは中央値の検索レイテンシーを77ミリ秒（ms）に抑え、応答プロセスのこのステップにわずか0.077秒しかかからなくなりました。発信者にとって、検索時間を短縮することで、質問をしてからエージェントが応答するまでの無音時間を減らすことができます。
オフライン処理では、Model VaultがAdaのセルフホスティング環境と比較して、コスト効率が約2.7倍向上しました。マネージドオートスケーラーにより、再公開時のトラフィックスパイクをAdaの自社管理環境よりも迅速に処理することができました。
検索システム全体において、Embedはパフォーマンスを犠牲にすることなくデータ圧縮を実現します。Embedがネイティブで圧縮をサポートしているため、Adaは独自の量子化パイプラインを構築する必要がありませんでした。Adaの規模（数千の顧客ナレッジベース、中には数万の記事を含むものも）では、この効果はすぐに顕著になりました。チームはベクトルストレージのフットプリントを4分の1に削減し、検索性能の低下は一切ありませんでした。「まさに無料の勝利でした」とMelidisは語ります。
検索性能の向上により、Adaのエージェントはより良い情報を利用できるようになり、その結果、最重要指標である「問題解決率」が向上しました。
顧客の成功を軸とした、現在と未来を見据えたパートナーシップ
このプロセスを通じて、Cohereは最適な構成を見つけるためのベンチマークと実験を直接支援し、Adaにとって信頼できる検索パートナーとしての地位を確立しました。Melidisは次のように述べています。「SageMakerでもVaultでも、私たちは強いプレッシャーを感じることなく、Cohereのチームはただ私たちの成功を願ってくれていると感じました。」
Adaチームは、マルチテナントサービスではなく専用環境で埋め込みモデルを実行することの明確なメリットも実感しています。特に、レイテンシーが重要なワークロードにおいて効果的です。Melidisは次のように述べています。「埋め込みモデル専用の計算リソースは私たちにとって新しい試みでした。この変更により、レイテンシーが最重要課題である場合、専用環境が検索にどれほど影響するかが明らかになりました。」
現在、Adaは既存のAWS環境を活用し、デプロイの柔軟性、パフォーマンス、運用の容易性を実現しています。Cohere Embedは既存のアーキテクチャにシームレスに統合され、チームは検索を最適化しつつ、エージェントをサポートするモデルとインフラを維持することができました。
このプロジェクトは、Adaに単なる問題解決以上の価値をもたらしました。AIスタックが進化する中、チームが継続的に発展させられる検索アーキテクチャを確立しました。Cohereが新たな検索モデル、最適化、モダリティ、リージョン別デプロイを準備している中、Adaは次に何が起こるかを常にテストする準備ができています。
