Da Unternehmen ihre umfangreichen Wissensdatenbanken nutzen, um generative KI einzusetzen, ist die Beherrschung der entscheidenden Technik des Chunking unerlässlich, um RAG-Systeme (Retrieval-Augmented Generation) zu optimieren.
Im Folgenden beantworten wir einige der häufigsten Fragen, die unser Team von Kunden zum Thema Chunking erhält. Lassen Sie uns direkt darauf eingehen.
Was ist Chunking und warum ist es so wichtig?
Chunking bezeichnet den Prozess, große Informationsmengen in handhabbare und kontextreiche Abschnitte zu unterteilen. Dies erleichtert es KI-Systemen, Informationen zu verarbeiten, zu durchsuchen und die relevantesten Daten abzurufen.
Im Wesentlichen strukturiert Chunking Informationen in kleinere, semantisch kohärentere Einheiten und verbessert so die Fähigkeit des KI-Modells, die relevantesten Antworten zu finden und abzurufen. Chunking findet üblicherweise während der Vorverarbeitung statt, bei der große Dokumente in kleinere Abschnitte wie Absätze oder Sätze unterteilt werden.
Chunking funktioniert, indem es die Qualität von Embeddings verbessert – den numerischen Darstellungen von Daten, die ein GenAI-Modell verstehen und nutzen kann. Wenn sich jeder Chunk auf einen spezifischen Informationsaspekt konzentriert, fällt es dem Embedding-Modell leichter, präzisere und detailliertere numerische Repräsentationen der in Vektordatenbanken gespeicherten Daten zu erstellen. Hochwertige Embeddings können den Unterschied zwischen einem RAG-System, das die Erwartungen erfüllt oder übertrifft, und einem System, das hinter den Anforderungen zurückbleibt, ausmachen.
Wann sollten Sie über den Einsatz von Chunking nachdenken?
Chunking ist ein wertvoller Schritt für jede Organisation, die im Rahmen einer GenAI-Lösung Informationen aus großen Dokumenten und Datenspeichern extrahieren und verarbeiten muss. Die Unterteilung von Inhalten in kleinere, handhabbare Abschnitte verbessert sowohl die Relevanz als auch die Genauigkeit der Abfrageergebnisse.
Da durch Chunking weniger Dokumententeile an das LLM gesendet werden, sinken zudem die Kosten und die Latenz. Der Erfolg von Chunking in RAG-Systemen liegt darin, die richtige Balance zwischen Chunk-Größe und Abfragepräzision zu finden.
Welche Größe des Kontextfensters sollte ich verwenden?
Das Kontextfenster ist die maximale Textmenge, die ein Modell zu einem bestimmten Zeitpunkt verarbeiten kann. Kontextfenster werden in Token gemessen – den Bausteinen eines Textes wie Wörtern oder Symbolen – und die meisten Large Language Models verfügen über eine Obergrenze.
Chunks werden so erstellt, dass sie in das Kontextfenster eines Modells passen. Die Festlegung des richtigen Kontextfensters für einen bestimmten Anwendungsfall ist entscheidend, um die Effektivität von RAG-Systemen zu maximieren; sie spielt eine Schlüsselrolle bei der Bestimmung der Genauigkeit und Relevanz der Ergebnisse sowie der Gesamtleistung des Modells. Ist das Fenster zu klein, verfügen die Chunks nicht über genügend semantische Verbindungen zum Rest des Dokuments, damit das Modell die Bedeutung erfassen kann. Ist es zu groß, fehlt dem Modell die nötige Spezifität, um die relevantesten und genauesten Informationen für die Generierung von Antworten abzurufen.
Die Begrenzung der Größe des Kontextfensters und die anschließende Anpassung basierend auf der Retrieval-Leistung ist der empfohlene Ansatz.Cohere Embedhat beispielsweise eine maximale Chunk-Größe von 512 Token. Wenn die zu indizierenden Dokumente beispielsweise Absätze mit einer Länge von rund 200 Wörtern haben, könnte eine Chunk-Größe von 250 Wörtern angemessen sein. Dieser Überlappungs- oder „Sliding-Window“-Ansatz stellt sicher, dass Kontextinformationen aus dem vorangegangenen und nachfolgenden Text erfasst werden. Im Allgemeinen ist ein kleineres Kontextfenster (100–300 Wörter) vorteilhafter, damit das Modell die semantische Bedeutung des Textes präziser erfassen kann. Cohere-Forschungen und -Experimente haben gezeigt, dass die Leistung bei einigen hundert Token weitgehend optimiert ist und nach etwa 500 Token deutlich abnimmt.
Welche verschiedenen Methoden zur Textsegmentierung gibt es?
Für die meisten Unternehmen muss eine Segmentierungsstrategie verschiedene Datentypen berücksichtigen. Im Bereich unstrukturierter Texte haben sich folgende gängige Methoden als besonders effektiv für Unternehmenskunden erwiesen:
Feste Größe.Der Inhalt wird in vordefinierte Chunk-Größen unterteilt. Beispielsweise könnten Sie sich entscheiden, alle Dokumente in Segmente von 512 Token zu unterteilen. Dieser Ansatz ist einfach und kosteneffizient, kann jedoch Kontextinformationen verlieren und ist für kürzere Dokumente nicht geeignet.
Satzebene.Der Text wird in einzelne Sätze zerlegt, was eine detailliertere Analyse ermöglicht. Dies bietet ein präzises Verständnis der Semantik jedes Satzes, ohne den Kontext des restlichen Textes einzubeziehen. Aus diesem Grund eignet sich dieser Ansatz ideal für kürzere Abfragen oder wenn der Fokus auf spezifischen Sätzen und nicht auf allgemeineren Themen liegt.
Absatzebene.Diese Methode bewahrt mehr Kontextinformationen als die Segmentierung auf Satzebene. Sie eignet sich besser für längere Abfragen, die mehr als einen Satz oder einen ganzen Absatz umfassen, da hier ein breiteres semantisches Verständnis erforderlich ist. Bei dieser Methode ist keine Überlappung mit vorherigen Chunks zur Wahrung der Semantik notwendig.
Sliding Window (gleitendes Fenster).Diese Technik nutzt ein „Fenster“ aus Text, das über ein gesamtes Dokument gleitet und eine festgelegte Anzahl aufeinanderfolgender Sätze erfasst und verarbeitet. Im Gegensatz zur Segmentierung auf Absatzebene wird hier oft eine Überlappung mit vorherigen Chunks erstellt, um die semantische Kohärenz zu gewährleisten. Dies ist eine effektive Methode zur Verarbeitung längerer Abfragen, da sie einen breiteren Kontext beibehält, um die semantische Bedeutung und die Zusammenhänge innerhalb des Dokuments zu erfassen.
Rekursive Segmentierung.Der Text wird an natürlichen Trennstellen, wie dem Ende von Sätzen oder Absätzen, in kleinere Stücke unterteilt, anstatt ihn in festen Intervallen zu zerlegen. Dies macht den Text leichter lesbar und verständlicher und bewahrt die ursprüngliche Bedeutung. Die Implementierung ist jedoch komplexer und kann aufgrund der Erstellung unterschiedlich großer Chunks schwierig zu verwalten sein.
Wie segmentiert man strukturierte Dokumente wie Tabellen?
Strukturierte Dokumentformate, wie Tabellen in PDF-Dateien, können besondere Herausforderungen bei der Segmentierung darstellen. Jeder Wert in einer Tabellenzeile oder -spalte kann ohne die zugehörigen Überschriften oder benachbarten Einträge bedeutungslos sein. Eine fehlerhafte Segmentierung einer großen Tabelle führt zu einem Verlust der semantischen Verbindung und letztlich zu Retrieval-Ergebnissen, die keinen Kontext bieten oder irreführend sind.
Wenn ein Chunk nur aus einem mittleren Teil einer Tabelle besteht, wird das Modell Schwierigkeiten haben, die Beziehung zwischen den Tabelleneinträgen und den Spaltenüberschriften zu verstehen. Eine spezialisierte Chunking-Strategie kann eingesetzt werden, um die Tabelle so zu segmentieren, dass die Überschriften in jedem Chunk erhalten bleiben und die gesamte Tabelle während der Abfrage rekonstruiert werden kann. Es ist entscheidend, so viele Metadaten wie möglich (z. B. Tabellenüberschriften, Schlüsselwörter und Daten) in die Chunks aufzunehmen. Dies ermöglicht es dem RAG-System, den Kontext jedes Chunks präziser zu erfassen und die Auswahl anhand der Relevanz der Metadaten für die Anfrage einzugrenzen.
Welche Tools kann ich für das Chunking verwenden?
Das Chunking großer Mengen an Unternehmensdaten kann eine aufwendige, zeitintensive und komplexe Aufgabe sein. Daher ist es hilfreich, dass es Tools gibt, die sowohl die Vorbereitung der Dokumente für das Chunking als auch die Durchführung des Chunking-Prozesses selbst beschleunigen und vereinfachen. Tools wie Unstructured, LangChain und LlamaIndex ermöglichen es Ihnen beispielsweise, Daten basierend auf ihrem Strukturtyp zu extrahieren und entsprechend zu chunken. Betrachten Sie etwa einen Forschungsbericht, der als PDF-Datei gespeichert ist und große Textmengen sowie mehrere Tabellen enthält. Das Tool kann die Daten aus der PDF extrahieren und unterschiedliche Bezeichnungen für Text und Tabellen zuweisen, um ein gezielteres und effizienteres Chunking zu ermöglichen.
Die initiale Verarbeitung großer Datenmengen kann je nach verfügbaren Rechenressourcen mehrere Stunden bis hin zu Tagen dauern. Folgende Aktualisierungen lassen sich jedoch deutlich schneller verarbeiten, da diese Tools in der Lage sind, neue Dokumente innerhalb von Sekunden oder Minuten zu extrahieren und zu chunken. Die Tools sind für horizontales Scaling konzipiert, was eine verteilte Verarbeitung ermöglicht, um größere Workloads zu bewältigen.
Wie kann ich meine Chunking-Strategie optimieren?
Chunking erfordert einen kontinuierlichen Prozess des Testens und Iterierens verschiedener Strategien, um herauszufinden, welche Ihren spezifischen Anforderungen basierend auf Anwendungsfällen und Datentypen am besten entspricht. Um das Chunking zu optimieren, ist es notwendig zu evaluieren, wie sich das Chunking auf die Suchleistung auswirkt, und die Strategie entsprechend anzupassen und zu verfeinern.
Als Ausgangspunkt kann die Leistung des Modells manuell anhand der Relevanz der als Antwort auf spezifische Anfragen abgerufenen Chunks bewertet werden. Für eine umfassende Evaluierung ist es jedoch wichtig, detailliertere Metriken zu implementieren. Recall@k und Precision@k sind die am häufigsten verwendeten Metriken zur Messung der Chunking-Leistung. Die Formel für Recall@k misst, wie viele relevante Chunks abgerufen wurden, während Precision@k misst, wie viele der abgerufenen Chunks tatsächlich relevant sind. Anschließend kann ein F1-Score berechnet werden, der sowohl die Präzision als auch die Trefferquote (Recall) ausgleicht.
Eine weitere wichtige Kennzahl ist die Mean Average Precision (MAP), die einen Gesamtüberblick über die Rankingqualität bei mehreren Anfragen bietet. Der Normalized Discounted Cumulative Gain (NDCG) ist besonders nützlich, um die Qualität der gerankten Abfrageergebnisse zu bewerten, wobei die Position relevanter Chunks berücksichtigt wird. Durch die systematische Verfolgung dieser Metriken erhalten Sie tiefere Einblicke in die Effektivität Ihrer Chunking-Strategie und können Bereiche für Optimierungen identifizieren. Dies ist besonders hilfreich beim Skalieren auf große Produktionsumgebungen, in denen sich die Leistungseigenschaften ändern können.
Basierend auf den Metriken können Sie Ihren Ansatz anpassen, indem Sie beispielsweise die Chunk-Größe oder das Sliding Window jedes Chunks erhöhen oder verringern und die Auswirkungen auf die Abfrageergebnisse messen. Möglicherweise müssen Sie mehr oder andere Arten von Metadaten einbeziehen.
Die richtige Segmentierung von Daten erweist sich für viele Unternehmen als Herausforderung. Eine perfekte Segmentierung wird beim ersten Versuch kaum jemals erreicht werden. Die optimale Strategie hängt von den Anwendungsfällen, den Modellfunktionen und der Art der verwendeten Daten ab und muss ein Gleichgewicht zwischen dem Erhalt des Dokumentkontexts und der Optimierung der Abrufgeschwindigkeit finden. Die Aufteilung riesiger Mengen interner Daten, die in Dutzenden verschiedener Dateiformate vorliegen, in handhabbare Segmente kann wie eine gewaltige Aufgabe erscheinen. Doch mit den richtigen Tools, dem nötigen Know-how und den passenden Partnern muss dies nicht so sein.
Entwicklung von KI-Agenten für Unternehmen
Ein umfassender Leitfaden zur Entwicklung skalierbarer KI-Agenten in regulierten Branchen.










