Nov 08, 2024

1 minute read

マルチモーダル埋め込み:視覚データとテキストデータの統合

GenAIアプリケーションに多様なデータを統合できることで、あらゆる業界の企業に新たな機能と価値をもたらすことができます。

Symbols referencing text and images in a box on the left, with an arrow point to a another box on the right with barred lines

生成AIを導入する企業が増えるにつれ、多くの企業がデータの潜在的な価値の大きさと、それを活用する上での課題の両方に気づき始めています。

企業は膨大なデータを保有しており、高度なAIによる検索、情報抽出、生成を通じて、従業員や顧客に価値を提供することが可能です。しかし、これらのデータは単なるテキスト文書や表形式で保存されているだけでなく、画像、オーディオ、ビデオなど、処理がより複雑なさまざまな形式で存在しています。

これまで、RAG(検索拡張生成)のような高度なAIシステムにこれらのデータ形式を統合し、大規模に運用することは困難でした。データの意味を数値表現で捉えるテキスト埋め込みモデルは、主にテキストベースの文書処理に使用されてきました。

しかし、マルチモーダル埋め込みモデルの最近の進歩により、状況は変わりつつあります。この技術により、企業はさまざまな形式のデータをシステムに投入し、形式に関わらず情報の意味を抽出することが可能になります。

本記事では、エンタープライズAIにおいてマルチモーダル埋め込みモデルがなぜ重要なのか、そしてRAGシステムでどのように効果的に活用できるのかについて解説します。

マルチモーダル埋め込みモデルはなぜ重要なのか?

マルチモーダル埋め込みモデルは、複雑なレポートやPowerPointなどのスライド資料、商品カタログ、グラフ、あるいは手書きのメモなどの画像に至るまで、企業のデータをより広範かつ統合的に把握することを可能にします。これにより、企業はデータからより深いインサイトや分析を得ることができ、顧客や従業員に高度なAI機能を提供できるようになります。

例えば、ユーザーは特定のインサイトやトレンドに関するクエリに基づいて、関連するグラフやチャートを検索できます。また、企業はテキストによる説明を必要とせず、視覚的な類似性に基づいて図面を検索できるアプリケーションを構築できます。

小売業者は、マルチモーダル埋め込みモデルを活用して、保有する膨大な視覚的データ、テキストデータ、価格データを統合し、顧客にパーソナライズされたレコメンデーションを提供できます。例えば、マルチモーダルシステムは、ユーザーの閲覧履歴から好みのデザインや価格帯を特定し、類似の商品を提案することが可能です。

コンサルティング会社を含む多くの企業は、テキスト、画像、グラフが混在するPowerPointプレゼンテーションに、貴重な知識やインサイトを大量に蓄積しています。マルチモーダル埋め込みモデルにより、カスタム提案を作成するために必要なあらゆるインサイトやデータを効率的に抽出することが可能になります。

また、医療機関が臨床記録や検査結果、MRIスキャンなどの画像データをGenAIシステムに統合したい場合を考えてみましょう。マルチモーダル埋め込みモデルは、医師がMRI画像を疾患のサブタイプや表現型情報(例:神経心理学的特性)に分類するのを支援し、より効率的で包括的な診断プロセスを実現します。さらに、異なるデータ形式間のパターンを特定することで、医療従事者に疾患の症状や治療法に関するより深い洞察を提供します。

その仕組みは?

テキストのみの埋め込みモデルと同様に、マルチモーダル埋め込みモデルは、データの意味に基づいてベクトル化することで機能します。関連するデータ形式(テキスト、画像、その他の形式を問わず)は、ベクトルデータベース内の同一の潜在空間(latent space)に保存されます。

ベクトルとして保存されれば、データの元の形式は重要ではなくなります。データベースは単に意味を表す数値で構成されるからです。各ベクトルは、元のソースを「指し示す」メタデータに関連付けられており、必要に応じて元のデータを取得したり参照したりすることが可能です。

ユーザーのクエリは、いわゆる類似検索をトリガーし、ベクトル位置に基づいて最も近い一致項目を特定します。例えばデータ型が画像の場合、まずその本質的な構成要素に分解されます。その後、ニューラルネットワークが画像にさらなる詳細、ニュアンス、複雑さを付与し、意味に基づいて正確にエンコードします。

例えば、その画像が猫だったとしましょう。ネットワークはまず、三角形の耳や毛並み、しっぽなど、画像の特定の部分を「猫らしい」要素として識別します。その後、毛の質感、髭、品種、背景などの、より深い猫の特徴を特定する層へと処理を進めます。

テキスト埋め込みモデルにおけるそのベクトル位置には、これらすべての情報がエンコードされ、元の形式に関わらず、同様の意味を持つデータに近い潜在空間内に配置されます。

テキストのみの埋め込みでは、猫に関する情報を求めるクエリでブリティッシュショートヘアや他の品種が表示される場合があります。しかし、マルチモーダル埋め込みでは、ライオンの画像や「panther」という文字が書かれた画像が表示されることもあります。つまり、マルチモーダル埋め込みにより、データ検索における漏れが大幅に減少します。

マルチモーダル埋め込みを実装する際の課題にはどのようなものがありますか?

組織にとって重要な検討事項は、マルチモーダル埋め込みモデルが既存のベクトル化されたデータとシームレスに統合される点です。

Cohereは最近、Embed 3 multimodalをリリースしました。これにより、テキストと画像の埋め込みを同一のベクトル空間に配置し、一貫した体験を提供します。これにより、組織はすべてのテキストデータを再ベクトル化するコストや手間をかけずに、マルチモーダル機能へアップグレードすることが可能になります。この「後方互換性」がなければ、類似検索の結果は不十分なものになります。

Embed 3は、テキストと画像の両方のデータをバランスよく処理し、共有空間内でその意味的な意味を保持します。テキストと画像のデータを別々のクラスターに分離する傾向があり(その結果、テキストが画像より優先されたりその逆になったりする)、不均衡な結果を生む他のモデルとは異なり、Embed 3は両方のデータタイプで同等のパフォーマンスを維持します。つまり、異なるコンテンツタイプが混在する検索を行っても、テキストか画像かに関わらず、最も関連性の高い結果が得られます。

マルチモーダル埋め込みに多大なリソースを投入する前に、より小規模な範囲でテストを行うことをお勧めします。これにより、モデルのパフォーマンスや特定のユースケースへの適合性を評価でき、本格的な導入前に必要な調整に関する知見を得ることができます。

画像の微細な詳細やバリエーションを捉えるために、モデルの追加学習が必要になる場合があります。例えば、放射線画像や顕微鏡画像などの理解が必要な医療分野では、より専門的なマルチモーダル埋め込みシステムが必要になる可能性があります。

パイプラインの出力部分では、追加の検討事項があります。システムはテキストデータと併せて画像ポインタ(URLやファイルパスなど)を処理できる必要がありますが、これはテキストベースの埋め込みでは不可能な場合があります。シームレスなユーザーエクスペリエンスを実現するため、組織は画像検索を既存のテキスト検索と統合するためのカスタムコードを実装する必要があるかもしれません。

テキストデータと画像データを統合したシームレスな生成結果を得るには、リランキングモデルの更新も必要になります。テキストベースのリランキングモデルは、意味が画像自体に紐付いているため、また従来のランキングモデルはベクトルではなくテキストを入力として受け取るため、画像からの関連情報(メタデータを除く)を見落としてしまいます。

マルチモーダル埋め込み用にデータを準備するには、どのような手順を踏むべきでしょうか?

テキストのみの埋め込みと同様に、マルチモーダル埋め込みでも、モデルを適用する前にデータをある程度前処理する必要があります。

例えば画像の場合、通常はサイズとスケールを統一するためにリサイズが必要です。また、画像の品質にも注意を払う必要があります。解像度の低い画像は重要な詳細情報の喪失を招く可能性があります。一方で、高解像度の画像(医療などの特定のユースケースで必要となる場合があります)は、処理時間とメモリに大きな負荷をかけます。組織は自社のニーズに基づいてバランスを取る必要があります。

詳細なメタデータを画像に関連付けることも、検索結果の関連性とコンテキストを向上させるための重要なステップです。

パフォーマンスを評価するプロセスはどのようなものでしょうか?

マルチモーダル性能を評価・調整するには、人による評価と自動評価手法を組み合わせることが有効です。

担当者は、埋め込み結果を従来のキーワードベースの画像検索と比較することができます。また、組織は2つの埋め込みバージョンを展開し、検索性能やその他の指標で比較するA/Bテストを実施することも可能です。

パフォーマンスの重要な要素は、エンタープライズ向けモデルとして、埋め込み処理をいかに効率的に行い、システムをスケールできるかを理解することです。これは特に、大量のアイテムを埋め込みする必要がある小売業などの企業にとって課題となる場合があります。しかし、実現は可能です。Cohereと提携したある大手小売業者は、4日間で7億点以上のアイテムをインデックス化し、顧客の検索機能を刷新しました。ただし、処理時間はインフラストラクチャの容量などの要因によって変動する場合があります。

まとめ

マルチモーダル埋め込みは、エンタープライズ向け生成AIアプリケーションにとって大きな飛躍となる可能性を秘めており、あらゆるデータ範囲にわたる強力なAI検索を可能にし、クエリに対してより洞察に満ちた包括的で視覚的に豊かな回答を生成します。各業界がユースケースを洗練させるにつれ、ビデオやオーディオなどのフォーマットの統合が進み、小売、医療、製造などの分野における高度に専門的なユースケース向けに、マルチモーダル性能がさらに向上することが予想されます。


エンタープライズAIエージェントの構築

規制業界においてスケーラブルなAIエージェントを開発するための包括的な設計図。

eBookをダウンロードする