Ada는 항공사, 결제, 소매업 등 다양한 분야의 기업이 고객 서비스 문의에 자율적으로 응답할 수 있도록 지원하는 에이전틱 고객 경험(ACX) 분야의 신뢰받는 선도 기업입니다. 이러한 응답을 가능하게 하는 것은 각 고객의 지식, 브랜드 음성, 프로세스를 기반으로 구성되며 Ada의 추론 엔진에서 실행되는 AI 에이전트입니다. 예를 들어, 금융 서비스 회사가 은행 고객에게 제공하는 답변 유형은 비행이 취소된 여행자에게 제공하는 항공사의 답변과 다릅니다.
하지만 AI 에이전트가 올바른 답변을 생성하기 전에 올바른 정보를 찾아야 합니다. 바로 여기서 검색이 필요합니다. 모든 고객 상호작용은 검색에서 시작되며, AI 에이전트가 대화를 해결하는 데 필요한 정보를 제공합니다.
Ada의 직원 머신 러닝 과학자인 Christos Melidis 박사는 “검색이 느리면 에이전트도 느려지고, 검색이 틀리면 에이전트도 틀립니다.”라고 설명합니다.
초기 과제
Ada의 온라인 사용 사례: 모든 밀리초가 중요합니다
이제 전화를 걸어 AI 에이전트에게 질문하고 모든 답변 전에 부자연스러운 정적이 흐르는 상황을 상상해 보세요. 문서상으로는 몇 밀리초가 중요하지 않아 보일 수 있지만, 대화 중에는 그 차이가 느껴집니다. 빠른 검색 모델은 고객이 질문에 대한 답변을 제때 받을 수 있다는 확신을 주고, 통화가 끊겼는지 의심하지 않도록 합니다.
Melidis 박사는 “전화 통화 중에는 시각적 요소가 없습니다. 깜빡이는 표시등도 없고, 그저 정적만 들릴 뿐이죠. 정적이 짧을수록 좋습니다.”라고 설명합니다. 즉, 음성이 채팅에 추가되면(말 그대로) 더 높은 수준의 성능이 요구됩니다.
세 가지 요구 사항
온라인 사용 사례에서 Ada는 이전 검색 설정보다 더 엄격한 음성 지연 시간 예산을 설정했습니다. 이 솔루션은 다음 세 가지 요구 사항을 충족해야 했습니다.
품질: 각 고객의 지식 기반에서 올바른 정보를 찾습니다
지연 시간: 검색에 할당된 시간이 거의 없는 종단 간 음성 지연 시간 예산에 맞춥니다
확장성: 여러 지역에서 다중 테넌트 규모로 성능을 발휘합니다
해결책을 찾기 위한 구조적 접근 방식
Ada는 오프라인 및 온라인 사용 사례 모두에 대한 해결책을 찾기 위해 구조화된 평가를 실시했습니다. Melidis 박사는 “저희는 매우 구조화된 방식으로 시작했습니다. 4단계 테스트를 진행했죠.”라고 설명합니다. 이 테스트는 체계적이고 시간 제약이 있는 테스트 기간으로, 각 접근 방식을 Ada의 두 워크로드에 대해 검증했습니다.
테스트의 구성 요소:
15,000개의 평가 쿼리
온라인 및 오프라인 워크로드
네 가지 임베딩 접근 방식
세 가지 요구 사항: 품질, 지연 시간, 확장성
하나의 목표: 성공적인 해결
테스트는 처음부터 Ada의 가정을 뒤집었습니다. 단일 배포를 통해 두 워크로드를 효율적으로 처리할 수 있다는 가정이었죠. 두 사용 사례에는 두 가지 기술적 해결책이 필요했습니다.
테스트를 통해 중요한 통찰력 발견: 두 사용 사례, 두 가지 해결책
오프라인 지식 기반 인덱싱을 위해 Ada는 Cohere Model Vault를 사용합니다. 전용 Cohere 관리 인프라는 모델을 개인적으로 대규모로 실행하고, 일괄 임베딩 및 수집을 지원합니다. 온라인 검색 경로의 경우, Ada는 전용 Cohere Embed
를 Amazon SageMaker AI 인스턴스에서 자체 호스팅합니다. Cohere Embed는 콘텐츠와 쿼리를 수치적 표현으로 변환하여 의미적으로 유사한 정보를 검색할 수 있도록 합니다.
“성능, 답변 품질, 고객 경험 모두 향상되었습니다.”
Christos Melidis, PhD, Staff Machine Learning Scientist, Ada
성공을 위한 레시피가 등장하다
온라인 사용 사례에서 Cohere Embed는 90.7%의 상위 10개 검색 정확도를 달성하며 두각을 나타냈습니다. SageMaker AI는 Ada 서비스와 지리적으로 가까워 지연 시간이 민감한 실시간 대화에 적합한 선택이었습니다. Cohere Embed를 SageMaker AI와 함께 사용하면서 Ada는 중간 검색 지연 시간을 77밀리초(ms)로 단축했습니다. 이는 응답 처리 단계에서 단 0.077초가 소요됨을 의미합니다. 발신자에게 검색 시간을 단축하면 질문 후 에이전트의 응답을 기다리는 동안의 정적을 줄일 수 있습니다.
오프라인 워크로드의 경우, Model Vault는 Ada의 자체 호스팅 설정보다 약 2.7배 높은 달러당 처리량을 제공했습니다. 관리형 자동 확장 기능은 Ada의 자체 관리형 확장보다 재게시 급증을 더 빠르게 처리했습니다.
검색 시스템 전반에 걸쳐 Embed는 성능 저하 없이 압축을 가능하게 합니다. Embed가 기본적으로 압축을 지원하기 때문에 Ada는 자체 양자화 파이프라인을 구축할 필요가 없었습니다. Ada의 규모, 즉 수천 개의 고객 지식 기반과 수만 개의 기사를 포함하는 일부 기반에서 결과는 빠르게 증가했습니다. 팀은 벡터 저장소 공간을 4배 줄였으며 검색 성능 저하는 없었습니다. Melidis는 "말 그대로 무료 승리였다"고 말합니다.
향상된 검색은 Ada의 에이전트에게 더 나은 정보를 제공하여 핵심 지표인 성공적인 문제 해결을 지원했습니다.
고객 성공을 위한 현재와 미래의 파트너십
이 과정에서 Cohere는 올바른 구성을 찾기 위해 실용적인 벤치마킹과 실험을 제공하여 Ada의 신뢰할 수 있는 검색 파트너로 자리매김했습니다. Melidis는 "SageMaker나 Vault를 사용하든, 우리는 강한 압박을 느끼지 않았습니다. 팀들은 우리가 성공하기를 원했습니다"라고 말합니다.
Ada 팀은 특히 지연 시간에 민감한 워크로드의 경우, 멀티테넌트 서비스가 아닌 전용 배포에서 임베딩 모델을 실행하는 것의 명확한 이점을 확인했습니다. Melidis는 "임베딩 모델을 위한 전용 컴퓨팅은 우리에게 새로운 것이었습니다. 이 변화는 지연 시간이 가장 중요한 경우 검색에 전용 배포가 얼마나 중요한지 보여주었습니다"라고 말합니다.
오늘날 Ada는 배포 유연성, 성능 및 운영 편의성을 위해 기존 AWS 환경을 활용할 수 있습니다. Cohere Embed는 기존 아키텍처에 통합되어 팀이 검색을 최적화하면서 에이전트를 이미 지원하는 모델과 인프라를 유지할 수 있도록 합니다.
이 프로젝트는 Ada에 단순한 포인트 솔루션 이상의 것을 제공했습니다. 팀은 AI 스택이 변경됨에 따라 지속적으로 발전시킬 수 있는 검색 아키텍처를 구축했습니다. Cohere가 이미 새로운 검색 모델, 최적화, 모달리티 및 지역별 배포를 준비하고 있는 가운데, Ada는 다음 단계를 계속 테스트할 준비가 되어 있습니다.
