May 23, 2024

3 minute read

C4AI lance Aya 23, une version à poids ouverts de 8 et 35 milliards de paramètres

Cohere For AI annonce Aya 23, une nouvelle famille de LLM génératifs multilingues de pointe couvrant 23 langues. Les modèles Aya 23 de 8 et 35 milliards de paramètres s’inscrivent dans notre engagement envers la recherche multilingue.

C4AI Launches Aya 23, 8B and 35B Parameter Open Weights Release

Aujourd’hui, Cohere For AI est fier d’annoncer Aya 23, une nouvelle famille de modèles de recherche génératifs multilingues de pointe (LLM), couvrant 23 langues différentes. Nous publions à la fois les modèles Aya 23 dotés de 8 milliards et 35 milliards de paramètres en tant que modèles à poids ouverts, dans le cadre de notre engagement continu envers la recherche multilingue.

La famille de modèles Aya 23 s’appuie sur Aya – un mouvement de science ouverte qui a réuni 3 000 collaborateurs du monde entier pour créer le plus grand jeu de données d’apprentissage supervisé multilingue à ce jour, ainsi qu’un modèle massivement multilingue de pointe. Aya 101 couvrait 101 langues et mettait l’accent sur l’ampleur ; pour Aya 23, nous nous concentrons sur la profondeur en associant un modèle pré-entraîné très performant à la collection de jeux de données Aya récemment publiée. Le résultat est un puissant modèle de recherche linguistique multilingue couvrant 23 langues, étendant ainsi les capacités de modélisation linguistique de pointe à près de la moitié de la population mondiale.

Aya 23, ainsi que l’ensemble de la famille de modèles et de jeux de données Aya, contribue à un changement de paradigme dans la manière dont la communauté de l’apprentissage automatique aborde la recherche en IA multilingue. Alors que les LLM et l’IA en général ont transformé le paysage technologique mondial, de nombreuses communautés à travers le monde sont restées sans soutien en raison des limites linguistiques des modèles existants. La plupart des modèles linguistiques haute performance ne prennent en charge qu’un petit nombre de langues. Aya 23 s’inscrit dans notre engagement à fournir des recherches de pointe démontrant que davantage de langues peuvent être traitées comme des priorités majeures, et à publier des modèles qui soutiennent les chercheurs rejoignant cette mission. Aya 23, ainsi que l’ensemble de la famille de modèles et de jeux de données Aya, contribue à un changement de paradigme dans la manière dont la communauté de l’apprentissage automatique aborde la recherche en IA multilingue.

Nous évaluons les performances d’Aya 23 par rapport à des modèles open source massivement multilingues tels qu’Aya-101 et à des modèles à poids ouverts largement utilisés et optimisés pour les instructions. La version d’Aya 23 à 35 milliards de paramètres obtient les meilleurs résultats dans tous les tests pour les langues couvertes, tandis que la version à 8 milliards de paramètres démontre des performances multilingues de premier ordre. Grâce à cette publication, nous démontrons des capacités supérieures dans des tâches complexes, telles que la compréhension du langage naturel, la synthèse et la traduction, sur un large spectre linguistique.

La version d’Aya 23 à 8 milliards de paramètres illustre notre engagement à développer des modèles de recherche multilingues hautement efficaces et accessibles pour les développeuses et développeurs du quotidien. Grâce à sa taille réduite, ce modèle nécessite moins de ressources de calcul. Tous ces éléments sont essentiels pour aider à combler le fossé entre les chercheurs en IA du monde entier et démocratiser l’accès aux technologies de pointe. Cela s’inscrit dans le cadre de nos recherches continues en tant que laboratoire visant à offrir une efficacité à grande échelle ; découvrez-en plus sur notre travail ici.

Aya 23 est désormais disponible pour mener des expériences, explorer et développer des travaux de recherche fondamentale ainsi que des audits de sécurité. Vous pouvez tester le modèle à l'adresse https://huggingface.co/spaces/CohereForAI/aya-23.

Découvrez-en plus sur ce modèle et sur l'initiative Aya dans son ensemble à l'adresse https://cohere.com/research/aya.

Nous publions également un rapport technique sur Aya 23, qui comprend un ensemble complet de résultats d'évaluation sur plusieurs benchmarks NLP multilingues, ainsi que des analyses de la qualité de génération.