主要貢献者:Manoj Govindassamy、Maxime Brunet、Jeremy Pekmez、Inna Shteinbuk、Elliott Choi
Cohereは、顧客がCohereのモデルを安全に、大規模に、そして保証されたパフォーマンスで実行できる専用かつ完全に独立したSaaSプラットフォーム「Model Vault」をリリースします。
Model Vaultは、フルマネージドSaaSによる運用負荷の軽減と、セルフホストによるセキュリティおよびパフォーマンスの利点を兼ね備えています。Northユーザーは、セキュアなVPC内でアプリケーションを展開し、運用負荷の高いモデル推論やスケーリングを、安全なクラウドベースのModel Vaultに委ねることができます。その結果、総所有コストの削減とエンタープライズ導入の加速が実現します。
Model Vaultは、現代のエンタープライズが直面する現実的な課題を解決する革新的なAIを提供するというCohereの歩みにおける重要なマイルストーンとなります。提供内容の詳細については続きをお読みいただくか、今すぐ利用を開始してください。
利便性と制御のトレードオフ
エンタープライズAI変革の核心には、根本的な制約が存在します。それは、導入のスピードと規模を、いかに成熟した現代組織のインフラ制御およびコンプライアンス要件と両立させるかということです。
これはますます「推論」に関する課題となっています。企業がより多くのワークフロー、チーム、製品にモデルを組み込もうとする中で、AIの主要なワークロードはトレーニングから推論へと徐々に移行しています。McKinseyは現在、1ユニットあたりのコストが低下し続ける一方で、今世紀末までにAIコンピューティングの大部分を推論が占めると予測しています。企業にとって、これは関心の中心を不定期なトレーニング実行への予算投入から、導入拡大に比例して直接的に増大する継続的なコストである推論への管理へとシフトさせます。
ほとんどのエンタープライズにとって、利用可能なデプロイオプションはこのジレンマを明確に反映しています。マルチテナントSaaSプラットフォームは、インフラコストを複数の顧客で分担することで、導入スピードと運用の簡便性を最適化しています。しかし、共有環境に固有のワークロード分離の欠如は、「ノイジーネイバー効果」や、ピーク時の利用における強制的なレート制限、不安定なレイテンシなどの問題を引き起こします。また、これらのプラットフォームはモデルの設定自由度が制限され、ワークロードレベルのパフォーマンスに関する可視性が低く、規制の厳しいエンタープライズのコンプライアンス基準を満たしていないことが多い傾向にあります。
オンプレミスか顧客管理のVPC内かに関わらず、セルフホストデプロイは、インフラ、パフォーマンス特性、セキュリティ境界に対するより高い制御を提供することで、これらの制限の多くを解消します。しかし、その制御を支える資本的・運用的な負担は、特にスケールアップを目指すチームにとって、導入が困難なほど高額になる場合があります。
AIエージェントアプリケーション構築のためのCohereのエンタープライズプラットフォームであるNorthにおいては、インフラに関するこの課題がさらに深刻になります。モデル提供には依然としてハードウェアのプロビジョニングと管理が必要ですが、エージェントワークロードは設計上、突発的で多面的かつ予測困難であるためです。

拡張性とセキュリティを兼ね備えたAIデプロイメントのための新しいフレームワークです。
Model Vaultは、Cohereが提供するセキュアなデプロイメントオプションの最新ラインナップです。モデルの推論に伴う運用負荷を、Cohereが管理する安全なクラウド環境へ移行することで、利便性と制御のバランスという課題を解決するように設計されています。
その結果、リソース競合やパフォーマンスの不安定さといった共有インフラの制約を排除しつつ、マルチテナントSaaSの特長であるスピード、拡張性、使いやすさを維持したSaaSデプロイメントモデルが実現します。
明確にしておきたいのは、あらゆる組織に最適な単一のデプロイ手法というものは存在しないということです。内部能力、データ戦略、規制要件によっては、マルチテナントSaaSやセルフホスト型デプロイが引き続き適切な選択肢となる企業もあります。例えば、業務フローが高度に標準化されている業界では、アプリケーションレベルの制御のみでコンプライアンス要件を満たすことができ、引き続き共有SaaSプラットフォームを好む場合があるでしょう。
しかし、多くの企業にとって、インフラ管理は実用レベルのAIエージェント導入における大きな障壁となっています。運用負荷を増やすことなく、モデルの推論能力を拡張したいと考えています。Model Vaultは、こうしたチームのために開発されました。

推論と開発を切り離す
Model VaultはCohereが管理するソリューションです。つまり、推論の運用負荷をすべて当社が担い、モデルのデプロイ、アップグレードや依存関係の管理、リソースの割り当てとスケーリング、そしてパフォーマンスと可用性の確保を行います。Model Vaultのユーザーには、99.9%以上の可用性を保証し、本番環境レベルのSLOと、主要なマネージドAI/MLデプロイプラットフォームと同等かそれ以上の低レイテンシを実現します。
これにより、顧客がGPU搭載の推論インフラを調達・準備・運用する必要がなくなり、総所有コスト(TCO)を大幅に削減できます。NorthのデプロイはCPUのみの環境で完全に動作可能となり、MLインフラストラクチャにおける最も負荷の高い作業はModel Vault側で処理されます。
Model Vaultを利用することで、MLチームはリソースを事前に割り当てる必要や、GPUの遊休化リスクを背負うことなく、ワークロードを柔軟に拡張できます。推論キャパシティは需要に応じて増減するため、ピークパフォーマンスのための「過剰プロビジョニング」と、レイテンシや可用性を低下させる「過小プロビジョニング」というジレンマを解消します。
簡単に言えば、Model Vaultはモデル提供に伴う運用の複雑さをCohereが引き受けることで、エンジニアという最も貴重なリソースを、AIエージェントアプリケーションの実験段階から本番環境への移行に集中させることができます。推論機能そのものは、貴社の競争優位性の源泉ではありません。
その一方で、重要なポイントにおいてはエンタープライズ側がコントロール権を保持します。Northのユーザーは、エージェントロジック、ワークフローオーケストレーション、会話状態の管理、データストレージ、パイプラインなど、コントロールプレーンの完全な所有権を維持できます。また、どのデータやワークロードをオンプレミスまたは既存のVPCでホストし、どれをModel Vaultに任せるかについて、完全なアーキテクチャ上の柔軟性を確保できます。
リソースの共有はなく、制限もなく、予期せぬコストも発生しません。
Model Vault は、論理的に分離された仮想プライベートクラウドとして展開されます。インフラコンポーネントは顧客間で共有されないため、パフォーマンス、信頼性、セキュリティの面で強力な分離が保証されます。これには、専用のネットワークロードバランサー、リバースプロキシ、サービングミドルウェア、推論サーバー、および基盤となる GPU アクセラレータが含まれます。
チームは Model Vault を利用することで、リソースの不足を心配することなく、無制限に本番環境のワークロードを実行できます。プロビジョニングされたリソースは専有利用となるため、プラットフォームの安定性を維持するためのレート制限は適用されません。同時に、Model Vault はカスタマイズ可能なロジックに基づいて推論キャパシティを動的にスケールするため、急激なエージェント推論の負荷増大時でもパフォーマンスが安定して維持されます。
リアルタイムで監視・最適化
Model Vault により、MLOps チームは本番環境における推論ワークロードの挙動を詳細に可視化できます。専用のリアルタイムダッシュボードを通じて、リクエストパターン、レイテンシ、トークン処理量、リソース使用率を追跡できるため、ボトルネックを迅速に特定し、需要の変化に合わせて効率性、予測可能性、パフォーマンスを継続的に最適化することが可能です。



はじめに
Model Vault は、手動設定を最小限に抑え、迅速かつ直感的なオンボーディングを実現するように設計されています。既存の North 展開に統合できるほか、Cohere モデルを個別に利用するためのプライベート推論プラットフォームとしても活用可能です。
数分で Model Vault を作成する方法は以下の通りです:
North を利用しない場合:
- 「dashboard.cohere.com」にアクセスしてください。アカウントを作成してログインします。
- サイドバーから「Vaults」を選択し、「+ New Vault」をクリックします。
- Vault に名前を付けます。
- Cohere モデルとパフォーマンス階層を選択します。
- 選択した各モデルに対して、希望するレプリカ範囲を指定します。これによりスケーリング制限が設定されます。
- Vault の設定内容を確認します。
これで完了です。インフラがプロビジョニングされ、専用のサブドメイン、API エンドポイント、およびプライベート監視ダッシュボードへのアクセス権が即座に提供されます。
North を利用する場合:
- 上記のステップに従って、貴社専用のModel Vaultを作成してください。
- Northのデプロイに必要なモデルを必ず選択してください。
- APIエンドポイントを取得したら、Helmチャートを更新し、Northのデプロイにおいて目的のモデルがそのエンドポイントを指すように設定してください。
- セットアップ後、管理者は管理インターフェースから、NorthにおけるCommandモデルのプライマリおよびセカンダリ推論エンドポイントを直接管理できます。
- これで、Northのデプロイ環境にModel Vaultが設定されました。
対応モデル
Model Vaultは現在、Cohereの最新の最先端技術を用いたすべてのテキスト埋め込み、リランカー、および生成モデルをサポートしています。これには、Northユーザー向けの統合パッケージも含まれます(以下の表を参照)。
さらに、Cohereの最先端AI検索および情報抽出機能の中核となるRerankおよびEmbedモデルは、Model Vaultを通じてセルフサービス形式で利用可能です。これにより、オンデマンドでアクセスでき、スムーズなセットアップと迅速な検証が可能になります。Commandモデルのセルフサービス利用や統合モデルバンドルにご興味のあるお客様は、ウェイティングリストへの登録をリクエストいただけます。

Model Vaultの料金プランは柔軟で、チームのワークロード要件や予算計画に合わせて調整可能です。担当チームまでご相談ください。最適なプランをご提案いたします。
詳細な手順については、当社のドキュメントをご参照ください。また、Northでエージェント型AIアプリケーションを構築するためのモデル仕様書や活用ガイドもあわせてご活用ください。
迅速に開発し、制御を維持しましょう。
今すぐModel Vaultを活用して、安全で高性能なエンタープライズAIの導入を開始しましょう。今すぐ始める。










