Nov 08, 2024

8 minute read

Embeddings multimodaux : unifier les données visuelles et textuelles

La capacité d'intégrer une plus large gamme de données dans les applications GenAI peut débloquer de nouvelles capacités et une valeur ajoutée pour les entreprises de tous les secteurs.

Symbols referencing text and images in a box on the left, with an arrow point to a another box on the right with barred lines

Alors que de plus en plus d’entreprises adoptent l’IA générative, elles prennent conscience à la fois du potentiel considérable et des défis liés à l’exploitation de la valeur de leurs données.

Les organisations détiennent d’énormes volumes de données qui peuvent apporter une valeur ajoutée à leurs employés et à leurs clients grâce à des fonctionnalités avancées d’IA pour la recherche, la récupération et la génération d’informations. Cependant, ces données ne se limitent pas à de simples documents textuels ou à des tableaux ; une grande partie des informations se trouve sous différents formats, tels que des images, des fichiers audio et même des vidéos, qui sont plus complexes à traiter.

Jusqu’à récemment, l’intégration de ces types de données avec des systèmes d’IA avancés, tels que la génération augmentée par récupération (RAG), était difficile à mettre en œuvre à grande échelle. Les embeddings textuels – qui capturent le sens des données sous forme de représentations numériques – ont été principalement utilisés pour traiter des documents basés sur du texte.

La situation évolue désormais grâce aux récentes avancées dans le domaine des embeddings multimodaux. Comme le suggère le terme, cela permettra aux organisations d’alimenter leur modèle d’embedding avec différents types de données, ce qui leur permettra d’extraire le sens des informations indépendamment de leur format.

Dans cet article, nous expliquerons pourquoi les embeddings multimodaux sont essentiels pour l’IA en entreprise et comment les utiliser efficacement avec les systèmes RAG.

Pourquoi les embeddings multimodaux sont-ils importants ?

Les embeddings multimodaux promettent d’offrir aux organisations une vision plus large et plus unifiée de leurs données, qu’il s’agisse de rapports complexes, de fichiers de présentation tels que PowerPoint, de catalogues de produits, de graphiques ou d’images telles que des notes manuscrites. Cela leur permettra, en retour, d’obtenir des analyses et des insights plus riches à partir de leurs données et d’offrir des fonctionnalités plus sophistiquées basées sur l’IA à leurs clients et à leurs employés.

Les utilisateurs peuvent, par exemple, récupérer des graphiques et des diagrammes pertinents en fonction de requêtes portant sur une information ou une tendance spécifique. Les entreprises peuvent développer des applications permettant aux clients de rechercher des schémas en fonction de similitudes visuelles, sans nécessiter de descriptions textuelles.

Les détaillants pourraient utiliser les embeddings multimodaux pour intégrer le vaste volume de données visuelles, textuelles et tarifaires dont ils disposent, afin de proposer des recommandations plus personnalisées à leurs clients. Par exemple, un système multimodal pourrait détecter qu’un client préfère certains designs visuels et certaines fourchettes de prix en fonction de son comportement de navigation et lui proposer des articles similaires.

De nombreuses entreprises, y compris des cabinets de conseil, détiennent une mine de connaissances et d’informations précieuses stockées dans des présentations PowerPoint, qui combinent texte, images et graphiques. L’embedding multimodal pourrait leur permettre de récupérer l’ensemble des insights et des données nécessaires pour créer des propositions personnalisées.

Prenons également l’exemple d’une entreprise de santé souhaitant intégrer des notes médicales écrites et des images, telles que des résultats d’analyses de laboratoire et des scanners IRM, dans son système GenAI. Les embeddings multimodaux pourraient aider les médecins à classer les images IRM en sous-types de maladies et en informations phénotypiques (par exemple, les traits neuropsychologiques), ce qui permettrait un processus de diagnostic plus efficace et plus complet. Ils pourraient également identifier des modèles à travers différents types de données, offrant ainsi aux professionnels de la santé une meilleure compréhension des symptômes et des traitements des maladies.

Comment cela fonctionne-t-il ?

Tout comme l’embedding textuel, l’embedding multimodal fonctionne en encodant les données sous forme de vecteurs en fonction de leur sens. Les types de données connexes (qu’ils proviennent de texte, d’images ou d’autres formats) sont stockés dans le même espace latent de la base de données vectorielle.

Une fois converties en vecteurs, le format d'origine des données devient sans importance : la base de données est simplement composée de nombres qui représentent un sens. Chaque vecteur est lié à des métadonnées qui renvoient à sa source d'origine, permettant ainsi de récupérer ou de faire référence aux données initiales si nécessaire.

La requête d'un utilisateur déclenche une recherche par similarité qui identifie les correspondances les plus proches en fonction des positions vectorielles. Si le type de données est une image, par exemple, celle-ci est d'abord décomposée en ses éléments essentiels. Un réseau de neurones lui attribue ensuite plus de détails, de nuances et de complexité afin de l'encoder avec précision selon sa signification.

Imaginons, par exemple, qu'il s'agisse d'une image de chat. Le réseau identifierait d'abord certains segments de l'image comme étant « similaires à un chat », tels que ses oreilles triangulaires, le motif de son pelage et sa queue. Il analyserait ensuite des couches plus profondes de caractéristiques propres aux chats, comme la texture du poil, les moustaches, la race et l'environnement.

Sa position vectorielle dans le modèle d'embedding serait encodée avec toutes ces informations et se situerait dans l'espace latent à proximité de données ayant une signification similaire, indépendamment de leur format d'origine.

Avec un embedding basé uniquement sur le texte, une requête portant sur les chats pourrait générer des résultats affichant un British Shorthair ou d'autres races. Avec un embedding multimodal, en revanche, elle pourrait également afficher une image d'un lion ou le mot « panthère » écrit en cursive. En effet, l'embedding multimodal permet d'explorer les données de manière beaucoup plus exhaustive lors de la récupération d'informations.

Quels sont les défis liés à la mise en œuvre d'embeddings multimodaux ?

Un aspect important pour les organisations est que les modèles d'embedding multimodal s'intègrent parfaitement aux données déjà vectorisées.

Cohere a récemment lancé Embed 3 multimodal, qui place les embeddings de texte et d'image dans le même espace vectoriel pour offrir une expérience intégrée. Cela permet aux organisations de passer à la fonctionnalité multimodale sans les coûts et les complications liés à la re-vectorisation de l'ensemble de leurs données textuelles. Sans cette « rétrocompatibilité », les recherches par similarité fourniraient des résultats médiocres.

Embed 3 traite les données textuelles et visuelles de manière équilibrée, en préservant leur signification sémantique dans un espace partagé. Contrairement à d'autres modèles qui ont tendance à séparer les données textuelles et visuelles en clusters distincts (ce qui conduit à des résultats favorisant soit le texte, soit les images), Embed 3 maintient des performances équivalentes pour les deux types de données. Ainsi, lors d'une recherche sur des contenus mixtes, vous obtiendrez les résultats les plus pertinents, qu'il s'agisse de texte ou d'images.

Avant d'investir des ressources importantes dans les embeddings multimodaux, il est recommandé de les tester à plus petite échelle. Cela permet d'évaluer les performances du modèle et sa pertinence pour des cas d'utilisation spécifiques, tout en identifiant les ajustements nécessaires avant un déploiement complet.

Les modèles peuvent nécessiter un entraînement supplémentaire pour saisir les détails et les variations subtiles des images. Un système d'embedding multimodal plus spécialisé peut être requis pour des applications médicales, par exemple, où il doit analyser des images telles que des scanners radiologiques ou des cellules observées au microscope.

La partie de sortie du pipeline nécessite des considérations supplémentaires. Le système doit être capable de traiter des pointeurs d'images (par exemple, des URL ou des chemins de fichiers) en plus des données textuelles, ce qui peut ne pas être possible avec des embeddings basés sur le texte. Pour offrir une expérience utilisateur fluide, les organisations peuvent devoir mettre en œuvre du code personnalisé afin d'intégrer la recherche d'images à la recherche textuelle existante.

L'obtention de résultats de génération fluides intégrant des données d'image et du texte nécessitera également des modèles de réordonnancement mis à jour. Les modèles de réordonnancement basés sur le texte ignoreront les informations pertinentes contenues dans les images (à l'exception des métadonnées), car le sens est intrinsèquement lié à l'image elle-même et parce que les réordonnanceurs conventionnels acceptent du texte, et non des vecteurs, comme entrée.

Quelles étapes doivent être suivies pour préparer les données pour des embeddings multimodaux ?

Comme pour les embeddings basés uniquement sur le texte, les embeddings multimodaux nécessitent que les données soient prétraitées dans une certaine mesure avant d'être injectées dans le modèle.

Les images, par exemple, devront généralement être redimensionnées pour atteindre une taille et une échelle uniformes. Il convient également de prêter attention à la qualité des images. Les images de faible résolution peuvent entraîner une perte de détails importants. À l'inverse, les images de haute résolution (qui peuvent être nécessaires pour certains cas d'utilisation, comme dans le domaine médical) solliciteront davantage les ressources de traitement et la mémoire. Les organisations devront trouver un équilibre adapté à leurs besoins.

Veiller à ce que des métadonnées détaillées soient associées aux images constitue une autre étape importante pour améliorer la pertinence et le contexte des résultats de recherche.

Quel est le processus pour évaluer les performances ?

Une combinaison de techniques d'évaluation humaine et automatisée peut être déployée pour évaluer et ajuster les performances multimodales.

Les équipes peuvent comparer les résultats des embeddings avec une recherche d'images traditionnelle basée sur des mots-clés. Les organisations peuvent également effectuer des tests A/B en déployant deux versions d'embeddings et en comparant leurs performances en matière de recherche et selon d'autres indicateurs.

Un aspect essentiel des performances réside dans la capacité à traiter efficacement les embeddings et à faire évoluer le système pour répondre aux exigences d'un modèle de niveau entreprise. Cela peut représenter un défi, en particulier pour des entreprises comme les détaillants qui doivent peut-être traiter un volume massif d'articles. Toutefois, c'est réalisable. Un grand détaillant ayant collaboré avec Cohere a réussi à indexer plus de 700 millions d'articles en quatre jours, transformant ainsi les capacités de recherche de ses clients. Cependant, les temps de traitement peuvent varier en fonction de facteurs tels que la capacité de l'infrastructure.

Conclusion

L'embedding multimodal s'annonce comme une avancée majeure pour les applications GenAI de niveau entreprise, permettant une recherche par IA puissante sur l'ensemble des données et générant des réponses aux requêtes plus pertinentes, complètes et riches en éléments visuels. À mesure que différents secteurs affineront leurs cas d'utilisation, nous verrons probablement une intégration accrue de formats tels que la vidéo et l'audio, ainsi qu'une amélioration des performances multimodales pour des cas d'utilisation hautement spécialisés dans des secteurs comme la vente au détail, la santé et la fabrication.


Développer des agents d'IA pour les entreprises

Un guide complet pour développer des agents d'IA évolutifs dans des secteurs réglementés.

Téléchargez l'eBook