Destiné aux développeurs, ce modèle peut être personnalisé et déployé dans des applications d’entreprise pour des tâches multilingues, du codage et de la synthèse.
À l’image de la collaboration entre OpenAI et Microsoft, le français Mistral AI et le géant des puces d'IA NVIDIA travaillent en étroite coopération. Tandis que l’un met à disposition son expertise en matière de traitement des données d’entraînement, l’autre apporte ses moyens matériels et financiers. C’est dans cet esprit que les deux partenaires ont annoncé le lancement d’un modèle d’entreprise 12B baptisé Mistral NeMo. « Comme il repose sur une architecture standard, Mistral NeMo est facile à utiliser et constitue un remplacement immédiat pour tout système utilisant Mistral 7B », précise un communiqué de Mistral AI.
Le modèle a été entraîné sur la plateforme NVIDIA DGX Cloud AI. Doté d’une fenêtre contextuelle contenant jusqu’à 128 000 tokens, il est multilingue et, selon ses concepteurs, particulièrement performant en anglais, français, allemand, espagnol, italien, portugais, chinois, japonais, coréen, arabe et hindi. Mistral NeMo repose en fait sur un nouveau tokenizer, Tekken, formé en plus de 100 langues et qui compresse le texte en langage naturel et le code source de manière plus efficace que le tokenizer Sentence. D’après Mistral AI, il est 30 % plus efficace pour compresser le code source en chinois, italien, français, allemand, espagnol et russe, et deux à trois fois plus efficace en coréen et en arabe.
Un modèle déployable en quelques minutes
Distribué sous la licence Apache 2.0, il est proposé comme microservice d’inférence NVIDIA NIM, un format conteneurisé qui doit faciliter son déploiement dans les applications d’entreprise. « En conséquence, les modèles peuvent être déployés n’importe où en quelques minutes, au lieu de plusieurs jours », assure NVIDIA dans un communiqué. Le modèle est conçu pour tenir dans la mémoire d’un seul GPU L40S, GeForce RTX 4090 ou RTX 4500. Il est d’ores et déjà accessible sur le site de NVIDIA, et un NIM associé sera bientôt disponible.
Le géant des puces d’IA finance régulièrement les entreprises spécialisées dans les modèles d’IA générative et a notamment contribué lors de la levée de fonds de 385 millions d’euros de Mistral AI, bouclée en décembre dernier. Cette proximité est également marquée par la sortie des modèles précédents de Mistral AI tels que Mistral-7B et Mixtral-8x7B, qui utilisent le cadre NeMo de NVIDIA.