주요 기여자: Manoj Govindassamy, Maxime Brunet, Jeremy Pekmez, Inna Shteinbuk, Elliott Choi
Cohere는 고객이 Cohere 모델을 안전하고 대규모로 실행하며 보장된 성능을 누릴 수 있도록 전용의 완전히 격리된 SaaS 플랫폼인 Model Vault를 출시합니다.
Model Vault는 완전 관리형 SaaS의 운영 오버헤드 감소 효과와 자체 호스팅의 보안 및 성능 이점을 결합했습니다. North 사용자는 안전한 VPC 내에서 애플리케이션을 배포하는 동시에, 유지 관리가 까다로운 모델 추론 및 확장 작업을 안전한 클라우드 기반 Model Vault에 맡길 수 있습니다. 그 결과, 총 소유 비용은 낮아지고 기업 도입 속도는 빨라집니다.
Model Vault는 오늘날 기업 고객이 직면한 현실 세계의 과제를 해결하는 혁신적인 AI를 제공하려는 Cohere의 여정에 있어 중요한 이정표가 됩니다. 제공되는 서비스에 대해 더 자세히 알아보시거나, 지금 바로 시작해 보세요.
편의성과 제어 능력의 트레이드오프
기업 AI 혁신의 핵심에는 한 가지 근본적인 제약 사항이 있습니다. 바로 성숙한 현대 조직의 인프라 제어 및 규정 준수 요구 사항과 도입 속도 및 확장성 사이의 균형을 어떻게 맞출 것인가 하는 점입니다.
이는 점점 더 추론 단계의 문제로 대두되고 있습니다. 기업들이 더 많은 워크플로, 팀, 제품에 모델을 통합하려 함에 따라, 추론 작업이 점차 AI 워크로드의 주류를 차지하며 학습을 대체하고 있습니다. McKinsey는 단위당 비용이 계속 하락함에도 불구하고 이번 10년 말에는 추론 작업이 AI 컴퓨팅의 대부분을 차지할 것으로 전망합니다. 기업 입장에서 이는 핵심 관심사를 일시적인 학습 실행 비용 지원에서 추론 비용 관리로 전환시킵니다. 추론 비용은 사용 확대에 따라 직접적으로 증가하는 반복적 비용입니다.
대부분의 기업에서 제공되는 배포 옵션은 이러한 갈등을 명확하게 보여줍니다. 멀티테넌트 SaaS 플랫폼은 인프라 비용을 여러 고객에 분산함으로써 속도와 운영 단순성을 최적화합니다. 하지만 공유 환경의 특성상 워크로드 격리가 되지 않아 '노이지 네이버(인접 테넌트의 리소스 점유로 인한 성능 저하)' 효과, 피크 시간대 강제 속도 제한, 예측 불가능한 지연 시간 등의 문제가 발생합니다. 또한 이러한 플랫폼은 모델 설정의 유연성이 떨어지고, 워크로드 수준의 성능 가시성이 부족하며, 규제가 엄격한 기업의 컴플라이언스 기준을 충족하지 못하는 경우가 많습니다.
온프레미스 또는 고객 관리형 VPC 내의 자체 호스팅 배포 방식은 인프라, 성능 특성 및 보안 경계 등에 대한 더 높은 제어 기능을 제공함으로써 이러한 한계 중 상당 부분을 해결합니다. 하지만 이러한 제어를 뒷받침하는 자본 및 운영 부담은 특히 확장을 원하는 팀에게는 감당하기 어려울 정도로 비용이 많이 들 수 있습니다.
에이전트형 AI 애플리케이션을 구축하기 위한 Cohere의 기업용 플랫폼인 North를 사용할 경우, 인프라 문제는 더욱 심각해집니다. 모델 서빙에는 여전히 하드웨어 프로비저닝 및 관리가 필요하지만, 에이전트형 워크로드는 설계상 간헐적이고 다각적이며 예측 불가능하기 때문입니다.

확장 가능하고 안전한 AI 배포를 위한 새로운 프레임워크
Model Vault는 Cohere의 안전한 배포 옵션 제품군에 새롭게 추가된 기능입니다. 이 솔루션은 모델 추론에 따른 운영 오버헤드를 Cohere가 관리하는 안전한 클라우드 환경으로 이전함으로써, 편의성과 제어 능력 사이의 절충안을 해결하도록 설계되었습니다.
그 결과, 리소스 경합이나 예측 불가능한 성능과 같은 공유 인프라의 제약을 제거하면서도 멀티테넌트 SaaS의 속도, 탄력성 및 사용 편의성을 유지하는 SaaS 배포 모델을 구현할 수 있게 되었습니다.
분명히 말씀드리자면, 모든 조직에 딱 맞는 단일 배포 방식은 없습니다. 내부 역량, 데이터 전략 및 규제 요구 사항에 따라 일부 기업에는 멀티테넌트 SaaS 또는 자체 호스팅 배포가 여전히 최선의 선택이 될 수 있습니다. 예를 들어, 워크플로가 매우 표준화된 산업의 경우 애플리케이션 수준의 제어만으로도 규정 준수 요구 사항을 충족할 수 있으므로 공유 SaaS 플랫폼을 계속 선호할 수 있습니다.
하지만 많은 기업에게 인프라 관리는 프로덕션급 에이전트 AI 도입의 점점 더 큰 걸림돌이 되고 있습니다. 이들은 운영 부하를 늘리지 않으면서 모델 추론 용량을 확장하고자 합니다. Model Vault는 바로 이러한 팀들을 위해 만들어졌습니다.

추론 프로세스를 개발 단계에서 분리
Model Vault는 Cohere가 관리하는 솔루션입니다. 즉, 모델 배포, 업그레이드 및 종속성 관리, 용량 프로비저닝 및 확장, 성능 및 가용성 보장을 포함한 프로덕션 추론의 모든 운영 부담을 저희가 책임집니다. Model Vault 사용자에게는 프로덕션급 SLO와 업계 최고의 매니지드 AI/ML 배포 플랫폼과 동등하거나 그 이상의 지연 시간 성능을 바탕으로 99.9% 이상의 가용성을 보장합니다.
이를 통해 고객이 GPU 기반 추론 인프라를 직접 조달, 프로비저닝 및 운영할 필요가 없어져 총 소유 비용(TCO)이 실질적으로 낮아집니다. 이제 North 배포는 CPU 전용 환경에서 완전히 실행될 수 있으며, 가장 부담이 큰 ML 인프라 작업은 Model Vault 내에서 처리됩니다.
Model Vault를 통해 ML 팀은 용량을 미리 할당하거나 유휴 GPU로 인한 리스크를 떠안지 않고도 워크로드를 탄력적으로 확장할 수 있습니다. 추론 용량은 수요에 따라 유연하게 증감하므로, 피크 성능 확보를 위한 과잉 프로비저닝과 지연 시간 및 가용성을 저하시키는 부족한 프로비저닝 사이의 갈등을 해소할 수 있습니다.
간단히 말해, Model Vault는 모델 서빙의 운영 복잡성을 Cohere가 담당하게 함으로써, 가장 소중한 자산인 엔지니어가 에이전트 AI 애플리케이션을 실험 단계에서 프로덕션 단계로 전환하는 데 집중할 수 있도록 지원합니다. 추론 기능 그 자체가 귀사의 핵심 경쟁 우위는 아닙니다.
이 모든 과정에서도 가장 중요한 지점에서는 기업 측의 제어 권한이 유지됩니다. North 고객은 에이전트 로직, 워크플로 오케스트레이션, 대화 상태, 데이터 저장소, 파이프라인을 아우르는 컨트롤 플레인에 대해 완전한 소유권을 유지합니다. 또한 어떤 데이터와 워크로드를 온프레미스 또는 기존 VPC에 호스팅하고, 어떤 부분을 Model Vault에서 처리할지 결정할 수 있는 완전한 아키텍처 유연성을 갖습니다.
공유 없음. 제한 없음. 예상치 못한 문제 없음.
Model Vault는 논리적으로 격리된 가상 프라이빗 클라우드(VPC) 형태로 배포됩니다. 인프라 구성 요소가 고객 간에 공유되지 않아 성능, 안정성 및 보안을 위한 강력한 격리가 보장됩니다. 여기에는 전용 네트워크 로드 밸런서, 리버스 프록시, 서빙 미들웨어, 추론 서버 및 기본 GPU 가속기가 포함됩니다.
이제 팀에서는 Model Vault를 통해 제한된 리소리를 두고 경쟁할 필요 없이 무제한의 프로덕션 워크로드를 실행할 수 있습니다. 사용자가 프로비저닝한 리소스는 전적으로 해당 사용자를 위해 예약되므로, 플랫폼 안정성을 위한 속도 제한(Rate Limit) 없이 사용할 수 있습니다. 동시에 Model Vault는 사용자 정의 가능한 로직에 따라 추론 용량을 동적으로 확장하므로, 갑작스러운 에이전트 추론 요청 증가 시에도 성능이 일정하게 유지됩니다.
실시간 모니터링 및 최적화
Model Vault는 MLOps 팀이 프로덕션 환경에서 추론 워크로드가 어떻게 동작하는지 명확하게 파악할 수 있는 가시성을 제공합니다. 전용 실시간 대시보드를 통해 팀은 요청 패턴, 지연 시간, 토큰 처리량 및 리소스 사용량을 추적할 수 있으며, 이를 통해 병목 현상을 빠르게 찾아내고 수요 변화에 따라 효율성, 예측 가능성 및 성능을 지속적으로 최적화할 수 있습니다.



시작하기
Model Vault는 수동 설정 단계를 최소화하여 빠르고 직관적인 온보딩이 가능하도록 설계되었습니다. 기존 North 배포 환경에 통합하거나, 개별적으로 사용하는 Cohere 모델을 위한 프라이빗 추론 플랫폼으로 활용할 수 있습니다.
몇 분 만에 Model Vault를 생성하는 방법은 다음과 같습니다:
North를 사용하지 않는 경우:
- 다음 주소로 이동하세요: dashboard.cohere.com. 계정을 생성하고 로그인하세요.
- 사이드바에서 'Vault'를 찾은 다음 '+ 새 Vault'를 선택하세요.
- Vault 이름을 지정하세요.
- Cohere 모델과 성능 등급을 선택하세요.
- 선택한 각 모델에 대해 원하는 복제본 범위를 지정하세요. 이를 통해 확장 한도가 결정됩니다.
- Vault 설정을 확인하세요.
이제 모든 과정이 완료되었습니다! 인프라가 프로비저닝되었으며, 고유 서브도메인, API 엔드포인트가 즉시 제공되고 프라이빗 모니터링 대시보드를 사용할 수 있습니다.
North를 사용하는 경우:
- 위 단계를 따라 귀사의 조직 전용 Model Vault를 생성하세요.
- North 배포에 필요한 모델을 선택했는지 확인하세요.
- API 엔드포인트를 확보한 후, North 배포 환경의 Helm 차트를 업데이트하여 원하는 모델이 해당 엔드포인트를 가리키도록 설정하세요.
- 설정이 완료되면 고객은 관리자 인터페이스에서 직접 North 내 Command 모델의 기본 및 보조 추론 엔드포인트를 관리할 수 있습니다.
- 이제 North 배포 환경에 Model Vault가 구성되었습니다.
지원 모델
Model Vault는 현재 Cohere의 최신 최첨단 임베딩, 리랭커, 그리고 생성형 모델을 모두 지원합니다. 여기에는 North 고객을 위한 번들 상품도 포함됩니다(아래 표 참조).
더욱이, Cohere의 최첨단 AI 검색 및 검색 기능의 기반이 되는 Rerank 및 Embed 모델은 Model Vault를 통해 셀프 서비스 방식으로 이용할 수 있습니다. 이를 통해 온디맨드 방식으로 원활한 설정과 더 빠른 실험이 가능합니다. Command 모델의 셀프 서비스 이용이나 통합 모델 번들 이용에 관심이 있는 고객은 대기자 명단 등록을 요청할 수 있습니다.

Model Vault 요금제는 유연하며, 팀의 워크로드 요구 사항과 예산 선호도에 맞게 조정할 수 있습니다. 저희 팀원에게 문의하여 귀사에 가장 적합한 옵션을 찾아보세요.
상세한 단계별 안내는 문서를 참조하시고, North에서 에이전트형 AI 애플리케이션을 구축하기 위한 모델 사양 및 사용 가이드도 함께 확인하세요.
빠르게 구축하고, 완벽하게 제어하세요.
지금 Model Vault를 통해 안전하고 고성능인 엔터프라이즈 AI를 배포해 보세요. 지금 시작하세요.










