Oct 30, 2024

8 minute read

Découpage de données (Chunking) pour le RAG : Optimisez l’extraction des connaissances d’entreprise

Découvrez comment relever certains des défis les plus courants liés au découpage de données (chunking) – une compétence essentielle pour exploiter les connaissances d'entreprise et réussir avec les solutions RAG.

Chunking for RAG: Maximize enterprise knowledge retrieval

Alors que les entreprises exploitent leurs vastes bases de connaissances pour tirer parti de l'IA générative, la maîtrise de la technique essentielle du découpage en segments (chunking) est devenue indispensable pour optimiser les systèmes de génération augmentée par récupération (RAG).

Ci-dessous, nous répondons à certaines des questions les plus fréquentes que notre équipe reçoit de la part des clients concernant le découpage en segments. Entrons dans le vif du sujet.

Qu'est-ce que le découpage en segments (chunking) et pourquoi est-ce si important ?

Le découpage en segments consiste à fragmenter de grandes quantités d'informations en unités plus gérables et plus riches en contexte. Cela permet aux systèmes d'IA de traiter, rechercher et extraire les informations les plus pertinentes plus facilement.

Essentiellement, le découpage en segments organise les informations en unités plus petites et sémantiquement plus cohérentes, améliorant ainsi la capacité du modèle d'IA à localiser et à extraire les réponses les plus pertinentes. Le découpage en segments s'effectue généralement lors de la phase de pré-traitement, où les documents volumineux sont divisés en sections plus petites, telles que des paragraphes ou des phrases.

Le découpage en segments améliore la qualité des embeddings, c'est-à-dire les représentations numériques des données qu'un modèle d'IA générative peut comprendre et utiliser. Lorsque chaque segment se concentre sur une information spécifique, il devient plus facile pour le modèle d'embedding de créer des représentations numériques plus précises et détaillées des données stockées dans les bases de données vectorielles. Des embeddings de haute qualité peuvent faire la différence entre un système RAG qui répond aux attentes, voire les dépasse, et un système qui s'avère insuffisant.

Quand devriez-vous envisager le découpage en segments ?

Le découpage en segments est une étape précieuse pour toute organisation devant extraire et traiter des informations issues de documents volumineux et de vastes réservoirs de données dans le cadre d'une solution d'IA générative. La division du contenu en sections plus petites et plus gérables améliore à la fois la pertinence et la précision des résultats de recherche.

Étant donné que le découpage en segments réduit le nombre de parties de documents envoyées au LLM, il permet également de diminuer les coûts et la latence. La réussite du découpage en segments au sein des systèmes RAG repose sur la recherche du juste équilibre entre la taille des segments et la précision de la récupération.

Quelle taille de fenêtre de contexte dois-je utiliser ?

La fenêtre de contexte correspond à la quantité maximale de texte qu'un modèle peut traiter à un moment donné. Elle est mesurée en jetons (tokens), les unités de base du texte telles qu'un mot ou un symbole, et la plupart des grands modèles de langage présentent une limite maximale.

Les segments sont créés pour s'adapter à la fenêtre de contexte d'un modèle. Définir la fenêtre de contexte appropriée pour un cas d'utilisation spécifique est crucial pour maximiser l'efficacité des systèmes RAG, car cela joue un rôle clé dans la détermination de la précision et de la pertinence des résultats, ainsi que dans la performance globale du modèle. Si elle est trop petite, les segments n'auront pas suffisamment de liens sémantiques avec le reste du document pour que le modèle en comprenne le sens. Si elle est trop grande, le modèle ne disposera pas d'une spécificité suffisante pour extraire les informations les plus pertinentes et précises nécessaires à la génération des réponses.

Limiter la taille de la fenêtre de contexte, puis l'ajuster en fonction des performances de récupération, est l'approche recommandée. Cohere Embed, par exemple, possède une taille de fragment maximale de 512 jetons. Si les documents que vous indexez comportent des paragraphes d'environ 200 mots, une taille de fragment de 250 mots pourrait être appropriée. Cette approche par chevauchement, ou « fenêtre glissante », permet de s'assurer que vous récupérez une partie du contexte du texte précédent et suivant. En général, une fenêtre de contexte plus petite (100 à 300 mots) est préférable pour permettre au modèle de mieux saisir le sens sémantique du texte. Les recherches et expériences de Cohere ont montré que les performances sont globalement optimisées avec quelques centaines de jetons et diminuent considérablement au-delà d'environ 500.

Quelles sont les différentes méthodes de découpage de texte ?

Pour la plupart des entreprises, une stratégie de découpage devra inclure une variété de types de données différents. Pour le texte non structuré, voici quelques méthodes courantes qui se sont révélées efficaces pour les clients d'entreprise :

Taille fixe. Le contenu est divisé en fragments de taille prédéterminée. Par exemple, vous pouvez choisir de découper tous les documents en segments de 512 jetons. Cette approche est simple et économique, mais elle peut entraîner une perte de contexte et n'est pas adaptée aux documents courts.

Niveau de la phrase. Le texte est décomposé en phrases individuelles, ce qui permet une analyse plus granulaire. Cela offre une compréhension détaillée de la sémantique de chaque phrase, sans tenir compte du contexte du reste du texte. Pour cette raison, c'est l'idéal pour des requêtes courtes ou lorsque l'accent est mis sur des phrases spécifiques plutôt que sur des thèmes plus larges.

Niveau du paragraphe.Cette méthode conserve davantage d'informations contextuelles que le découpage par phrase. Elle est mieux adaptée aux requêtes plus longues qui s'étendent sur plusieurs phrases ou un paragraphe entier, car elle vise une compréhension sémantique plus large. Cette méthode ne nécessite pas de chevauchement avec les fragments précédents pour préserver la sémantique.

Fenêtre glissante.Cette technique utilise une « fenêtre » de texte qui glisse sur l'ensemble d'un document, capturant et traitant un nombre défini de phrases consécutives. Contrairement au découpage par paragraphe, cette méthode crée souvent un chevauchement avec les fragments précédents pour garantir la cohérence sémantique. C'est une méthode efficace pour traiter des requêtes plus longues, car elle maintient un contexte plus large afin de saisir le sens sémantique et les relations au sein du document.

Découpage récursif. Le texte est divisé en morceaux plus petits aux points de rupture naturels, tels que la fin des phrases ou des paragraphes, plutôt que d'être coupé à intervalles fixes. Cela rend le texte plus facile à lire et à comprendre, tout en préservant son sens. Cependant, cette méthode est plus complexe à mettre en œuvre et peut être difficile à gérer en raison de la création de fragments de tailles différentes.

Comment découper des documents structurés comme des tableaux ?

Les formats de documents structurés, tels que les tableaux dans les fichiers PDF, peuvent poser un défi de découpage différent. Chaque valeur dans une ligne ou une colonne d'un tableau peut être dénuée de sens sans ses en-têtes associés ou les entrées voisines. Un découpage incorrect d'un grand tableau entraînera une perte de lien sémantique et, en fin de compte, des résultats de récupération hors contexte ou trompeurs.

Si le fragment ne contient qu'une partie centrale du tableau, par exemple, le modèle aura du mal à comprendre la relation entre les entrées des colonnes et leurs en-têtes. Une stratégie de segmentation spécialisée peut être mise en œuvre pour diviser le tableau de manière à préserver les en-têtes dans chaque fragment, permettant ainsi de reconstruire l'intégralité du tableau lors de la récupération. Il est essentiel d'inclure autant de métadonnées que possible (telles que les titres du tableau, les mots-clés et les dates) dans les fragments. Cela permet au système RAG de mieux comprendre le contexte de chaque fragment et de les sélectionner en fonction de la pertinence de leurs métadonnées par rapport à la requête.

Quels outils puis-je utiliser pour la segmentation ?

La segmentation de vastes volumes de données d'entreprise peut s'avérer être une tâche ardue, chronophage et complexe. Heureusement, des outils sont disponibles pour simplifier et accélérer à la fois la préparation des documents en vue de leur segmentation et la mise en œuvre de cette segmentation elle-même. Des outils tels que Unstructured, LangChain, et LlamaIndex, par exemple, vous permettent d'extraire des données en fonction de leur type de structure et de les segmenter de manière appropriée. Prenons l'exemple d'un rapport de recherche stocké sous forme de fichier PDF contenant une grande quantité de texte ainsi que plusieurs tableaux. L'outil peut extraire les données du PDF et attribuer des étiquettes distinctes pour le texte et les tableaux, permettant ainsi une segmentation plus ciblée et efficace.

Le traitement initial de données à grande échelle peut prendre de plusieurs heures à plusieurs jours, selon les ressources de calcul disponibles. Cependant, les mises à jour ultérieures peuvent être traitées beaucoup plus rapidement, car ces outils sont capables d'extraire et de segmenter de nouveaux documents en quelques secondes ou minutes. Ces outils sont conçus pour évoluer horizontalement, permettant un traitement distribué afin de gérer des charges de travail plus importantes.

Comment puis-je affiner ma stratégie de segmentation ?

La segmentation nécessite un processus continu de test et d'itération de différentes stratégies afin de déterminer celle qui répond le mieux à vos besoins spécifiques, en fonction des cas d'utilisation et des types de données. Pour optimiser la segmentation, il est nécessaire d'évaluer son impact sur les performances de recherche et d'ajuster et affiner votre stratégie en conséquence.

Pour commencer, les performances du modèle peuvent être évaluées manuellement en fonction de la pertinence des fragments récupérés en réponse à des requêtes spécifiques. Cependant, il est important de mettre en œuvre des métriques plus détaillées pour une évaluation complète. Recall@k et Precision@k sont les métriques les plus couramment utilisées pour mesurer les performances de segmentation. La formule utilisée pour Recall@k mesure le nombre de fragments pertinents récupérés, tandis que Precision@k mesure le nombre de fragments récupérés qui sont pertinents. Un score F-1 peut ensuite être calculé pour équilibrer les performances de précision et de rappel.

Une autre métrique clé est la précision moyenne (MAP), qui offre une vue d'ensemble de la qualité du classement sur plusieurs requêtes. Le gain cumulatif décroissant normalisé (NDCG) est particulièrement utile pour évaluer la qualité des résultats de recherche classés, en tenant compte de la position des fragments pertinents. En suivant systématiquement ces métriques, vous pouvez obtenir une meilleure compréhension de l'efficacité de votre stratégie de segmentation et identifier les domaines à améliorer. Cela est particulièrement utile lors du passage à une mise en production à grande échelle, où les caractéristiques de performance peuvent évoluer.

En fonction des métriques, vous pouvez ajuster votre approche, par exemple, en augmentant ou en diminuant la taille des fragments ou la fenêtre glissante de chaque fragment, et en mesurant l'impact sur les résultats de récupération. Il se peut que vous deviez inclure davantage de métadonnées, ou des types de métadonnées différents.

Maîtriser le découpage de données s’avère être un défi pour de nombreuses organisations. Atteindre la perfection en la matière est rarement possible dès la première tentative, voire jamais. La stratégie optimale dépendra des cas d’utilisation, des capacités du modèle et du type de données employées, et devra trouver un équilibre entre la préservation du contexte des documents et l’optimisation de l’efficacité de la récupération. Fragmenter d’énormes volumes de données internes, stockées dans des dizaines de formats de fichiers différents, en segments gérables peut sembler être une tâche ardue. Mais avec les bons outils, l’expertise nécessaire et des partenaires adéquats, cela ne doit pas forcément être le cas.


Développer des agents d’IA pour les entreprises

Un guide complet pour développer des agents d’IA évolutifs dans des secteurs réglementés.

Téléchargez l’eBook