Oct 30, 2024

1 minute read

RAGのためのチャンキング:エンタープライズナレッジ検索を最大限に活用する

チャンキングに関するよくある課題への対処法を学びましょう。これはエンタープライズナレッジを活用し、RAGソリューションで成功を収めるための不可欠なスキルです。

Chunking for RAG: Maximize enterprise knowledge retrieval

企業が大規模なナレッジベースを活用して生成AIを導入する中で、RAG(検索拡張生成)システムの最適化に不可欠なスキルとして「チャンキング」の習得が重要視されています。

以下では、チャンキングに関して当社のチームがお客様からよく受ける質問にいくつかお答えします。詳しく見ていきましょう。

チャンキングとは何か、なぜそれほど重要なのか?

チャンキングとは、大量の情報を扱いやすく、文脈を保持した小さな単位(チャンク)に分割するプロセスのことです。これにより、AIシステムが情報を処理し、検索し、最も関連性の高い情報を抽出することが容易になります。

簡単に言えば、チャンキングは情報を意味的に一貫した小さな単位に整理することで、AIモデルが最も適切な回答を特定し、抽出する能力を向上させます。チャンキングは通常、前処理段階で行われ、大規模なドキュメントが段落や文などの小さなセクションに分割されます。

チャンキングは、GenAIモデルが理解し活用できるデータの数値表現である「Embeddings」の質を向上させることで機能します。各チャンクが特定の情報に焦点を当てているため、テキスト埋め込みモデルはベクトルデータベースに保存されたデータのより正確で詳細な数値表現を生成しやすくなります。高品質なEmbeddingsは、RAGシステムが期待以上の成果を出すか、あるいは期待に届かないかの分かれ目となります。Embeddingsの質を向上させることで、チャンキングは機能します。

チャンキングはどのような場合に検討すべきか?

チャンキングは、GenAIソリューションの一環として、大規模なドキュメントやデータストアから情報を抽出して処理する必要があるあらゆる組織にとって有効なステップです。コンテンツをより小さく扱いやすいセクションに分割することで、検索結果の関連性と正確性の両方が向上します。

チャンキングによりLLMに送信されるドキュメントの部分が少なくなるため、コストとレイテンシも削減されます。RAGシステムにおけるチャンキングの成否は、チャンクのサイズと検索精度の適切なバランスを見つけることにあります。

どのサイズのコンテキストウィンドウを使用すべきか?

コンテキストウィンドウとは、モデルが一度に処理できるテキストの最大量のことを指します。コンテキストウィンドウは、単語や記号などのテキストの構成要素である「トークン」で測定され、ほとんどの大規模言語モデルには上限があります。

チャンクは、モデルのコンテキストウィンドウに収まるように作成されます。特定のユースケースに適切なコンテキストウィンドウを設定することは、RAGシステムの効果を最大化するために極めて重要であり、結果の正確性と関連性、およびモデルの全体的なパフォーマンスを決定づける重要な役割を果たします。ウィンドウが小さすぎると、チャンクがドキュメントの他の部分との意味的なつながりを十分に持たず、モデルがその意味を理解できなくなります。逆に大きすぎると、モデルが最も関連性の高く正確な情報を十分に特定できず、回答を生成するための情報を抽出できなくなります。

コンテキストウィンドウのサイズを制限し、その後検索パフォーマンスに基づいて調整することが推奨されるアプローチです。Cohere Embedを例に挙げると、最大チャンクサイズは512トークンです。埋め込み対象のドキュメントの段落が200語程度である場合、チャンクサイズを250語に設定するのが適切かもしれません。このオーバーラップ(「スライディングウィンドウ」)アプローチにより、前後のテキストから一定のコンテキストを確実に取得できます。一般的に、コンテキストウィンドウを小さく(100〜300語)設定する方が、モデルがテキストの意味内容をより正確に捉えるのに有効です。Cohereの研究および実験では、数百トークン程度でパフォーマンスが概ね最適化され、500トークン前後を境に大幅に低下することが分かっています。

テキストチャンキングの手法にはどのような種類がありますか?

ほとんどの企業において、チャンキング戦略にはさまざまなデータタイプを組み込む必要があります。非構造化テキストに関しては、エンタープライズ顧客にとって有効であることが分かっている一般的な手法をいくつかご紹介します。

固定サイズ。コンテンツをあらかじめ決められたサイズのチャンクに分割します。例えば、すべてのドキュメントを512トークンのセグメントに分割することも可能です。この手法はシンプルでコスト効率に優れていますが、コンテキストが失われる可能性があり、短いドキュメントには適していません。

文レベル。テキストを個々の文に分解することで、より詳細な分析が可能になります。これにより、テキストの他の部分からのコンテキストを除いた状態で、各文の意味内容を詳細に把握できます。そのため、短いクエリや、広範なテーマよりも特定の文に焦点を当てる場合に最適です。

段落レベル。この手法は、文レベルのチャンキングよりも多くのコンテキスト情報を保持します。複数の文や段落にわたる長いクエリに適しており、より広範な意味理解を求める場合に有効です。この手法では、意味内容を維持するために前のチャンクとのオーバーラップを設ける必要はありません。

スライディングウィンドウ。この手法では、ドキュメント全体を移動する「ウィンドウ」を用いて、連続する一定数の文を抽出・処理します。段落レベルのチャンキングとは異なり、意味的な一貫性を確保するために、前のチャンクと重複させることが一般的です。ドキュメント内の意味内容や関係性を捉えるための広範なコンテキストを維持できるため、長いクエリの処理に効果的な手法です。

再帰的チャンキング。テキストを固定の間隔で切り分けるのではなく、文末や段落末などの自然な区切りでより小さな単位に分割します。これにより、テキストの可読性と理解しやすさが向上し、意味内容が保持されます。ただし、設定がより複雑になり、チャンクのサイズが不均一になるため管理が困難な場合があります。

表のような構造化ドキュメントをチャンキングするにはどうすればよいですか?

PDFファイルの表などの構造化ドキュメント形式では、異なるチャンキング上の課題が生じることがあります。表の行や列の各値は、関連するヘッダーや隣接する項目がなければ意味をなさない場合があります。大きな表を適切にチャンキングできないと、意味的なつながりが失われ、結果としてコンテキストから外れた、あるいは誤解を招く検索結果につながります。

チャンクがテーブルの途中の一部分のみで構成されている場合、例えば、モデルは列の項目とヘッダーとの関係を理解するのに苦労します。専用のチャンキング戦略を適用することで、各チャンクにヘッダーが保持されるようにテーブルを分割し、検索時にテーブル全体を再構築できるようにすることが可能です。チャンクには、テーブル見出し、キーワード、日付などのメタデータを可能な限り含めることが極めて重要です。これにより、RAGシステムは各チャンクのコンテキストをより正確に理解し、メタデータのクエリとの関連性に基づいて抽出範囲を絞り込むことができます。

チャンキングにはどのようなツールを利用できますか?

膨大な企業データのチャンキングは、手間と時間がかかる複雑な作業です。そのため、チャンキング用のドキュメント準備を迅速かつ容易にし、チャンキング自体の実装も効率化できるツールが利用可能であることは大きな助けとなります。例えば Unstructured、LangChain、および LlamaIndexなどのツールを利用すれば、データ構造に基づいてデータを抽出し、適切にチャンキングすることが可能です。例えば、大量のテキストと複数の表を含むPDF形式の研究レポートを想定すると、これらのツールはPDFからデータを抽出し、テキストと表に異なるラベルを割り当てることで、より的確で効率的なチャンキングを実現できます。

大規模データの初期処理には、コンピューティングリソースに応じて数時間から数日かかる場合があります。しかし、その後の更新処理は大幅に高速化され、これらのツールを用いれば新しいドキュメントを数秒から数分で抽出してチャンキングすることが可能です。これらのツールは水平方向のスケーリングに対応しており、分散処理によってより大きなワークロードを処理できるよう設計されています。

チャンキング戦略をどのように改善すればよいでしょうか?

チャンキングにおいては、ユースケースやデータの種類に基づいた個別のニーズにどの戦略が最適かを判断するため、さまざまな手法を継続的にテストし、改善を繰り返すプロセスが必要です。チャンキングを最適化するには、チャンキングが検索パフォーマンスにどのような影響を与えているかを評価し、それに応じて戦略を調整・改善することが不可欠です。

まずは、特定のクエリに対して取得されたチャンクの関連性に基づき、モデルのパフォーマンスを手動で評価することが可能です。しかし、包括的な評価を行うには、より詳細な指標を導入することが重要です。チャンキングパフォーマンスの測定には、Recall@kとPrecision@kが最も一般的に使用される指標です。Recall@kの計算式は、関連するチャンクがいくつ取得されたかを測定し、Precision@kは、取得されたチャンクのうちいくつが関連しているかを測定します。さらに、これら両方の指標(適合率と再現率)のバランスを考慮したF-1スコアを算出することも可能です。

もう一つの重要な指標は、複数のクエリにわたるランキング品質の全体像を把握できる平均平均適合率(MAP)です。正規化割引累積利得(NDCG)は、関連するチャンクの位置を考慮して、ランキングされた検索結果の品質を評価する際に特に有用です。これらの指標を体系的に追跡することで、チャンキング戦略の有効性についてより深い洞察を得ることができ、改善すべき点を特定できます。これは、パフォーマンス特性が変化する可能性がある大規模な本番環境へ展開する際に特に有効です。

これらの指標に基づき、例えばチャンクサイズや各チャンクのスライディングウィンドウの幅を調整し、検索結果への影響を測定することで、アプローチを微調整できます。また、より多くのメタデータを含めるか、あるいは異なる種類のメタデータを追加する必要があるかもしれません。

適切なチャンキングの実現は、多くの企業にとって困難な課題となっています。チャンキングを完璧に行うことは、最初から成功するケースはほとんどないと言っても過言ではありません。最適な戦略はユースケースやモデルの性能、使用するデータの種類によって異なり、ドキュメントのコンテキストを維持しつつ検索効率を最適化するというバランスを取る必要があります。数十種類もの異なるファイル形式で保存された膨大な社内データを、扱いやすいサイズに分割することは、途方もない作業に思えるかもしれません。しかし、適切なツールとノウハウ、そしてパートナーがいれば、そうとは限りません。


エンタープライズAIエージェントの構築

規制業界において拡張可能なAIエージェントを開発するための包括的なガイドブック。

eBookをダウンロードする