Mistral AI

Pour les articles homonymes, voir Mistral.

Mistral AI

(en) Frontier AI in your hands

Histoire

Fondation	28 avril 2023

Cadre

Forme juridique	Société par actions simplifiée
Domaines d'activité	Intelligence artificielle, services administratifs combinés de bureau
Siège	1er arrondissement de Paris
Pays	France

Organisation

Effectif	60 salariés[1]
Fondateurs	Guillaume Lample (d), Timothée Lacroix (d), Arthur Mensch
Président	Arthur Mensch[2]
Directeur scientifique	Guillaume Lample[3]
Directeur technique	Timothée Lacroix[3]
Directeur	Arthur Mensch (depuis 2023)
Site web	mistral.ai

Identifiants

SIREN	952418325
TVA européenne	FR95952418325
OpenCorporates	fr/952418325

modifier - modifier le code - modifier Wikidata

Mistral AI est une entreprise française fondée en avril 2023, spécialisée dans l'intelligence artificielle générative. Elle développe des grands modèles de langages open source et propriétaires. Elle est cofondée par Arthur Mensch, Guillaume Lample et Timothée Lacroix^[2].

En un an, elle réalise trois levées de fonds successives, d'un montant total de plus d'1 milliard d'euros, et serait valorisée en juin 2024 à près de 6 milliards d'euros^[4]. Mistral est considérée comme l'un des leaders européens de l'intelligence artificielle.

Avant de cofonder Mistral AI, Arthur Mensch travaillait chez DeepMind, le laboratoire d'intelligence artificielle de Google, tandis que Guillaume Lample et Timothée Lacroix étaient chercheurs chez Meta^[2], et que Guillaume Lample a fait partie des créateurs de LLaMA^[5],[6].

En juin 2023, la start-up réalise une première levée de fonds de 105 millions d'euros avec comme investisseurs le fond américain Lightspeed Venture Partners (en), Eric Schmidt, Xavier Niel et JCDecaux Holding notamment. La valorisation est alors estimée par le Financial Times à 240 millions d'euros^[7].

Le 27 septembre 2023, l'entreprise met à disposition son modèle de traitement du langage « Mistral 7B » sous licence libre Apache 2.0. Ce modèle comporte 7 milliards de paramètres, une taille restreinte par rapport à ses concurrents^[8].

Le 10 décembre 2023, Mistral AI annonce avoir levé 385 millions d'euros dans le cadre de sa seconde levée de fonds^[2] et devient l'une des licornes française, valorisée à 2 milliards de dollars^[9]. Ce tour de table implique notamment le fonds californien Andreessen Horowitz, la BNP Paribas et l'éditeur de logiciels Salesforce^[10].

Le 11 décembre 2023, l'entreprise sort le modèle « Mixtral 8x7B » comptant 46,7 milliards de paramètres mais n'en utilisant que 12,9 milliards par token grâce à l'architecture du système d'experts (en). Le modèle maîtrise 5 langues (français, espagnol, italien, anglais et allemand) et surpasse, d'après les tests de ses développeurs, le modèle « LLama 2 70B » de Meta. Une version entrainée pour suivre des instructions et nommée « Mixtral 8x7B Instruct » est aussi proposée^[11].

Le même jour, Mistral annonce la bêta de sa plateforme de services permettant aux développeurs de solliciter directement ses modèles^[11],[12].

En février 2024, Cédric O, actionnaire et conseiller en affaires publiques de Mistral AI, recrute Audrey Herblin-Stoop pour s'occuper des affaires publiques^[13].

Le 26 février 2024, Mistral lance « Le Chat », un agent conversationnel similaire à ChatGPT permettant d'essayer les modèles de l'entreprise^{[14],[15],[16]}. Dans la foulée, elle dévoile Mistral Large, un nouveau modèle de langage capable de rivaliser avec GPT-4^[17],[18], une version allégée appelée Mistral Small, et Mistral Next, un prototype conçu pour donner des réponses brèves et concises^[19],[20].

Le même jour, Mistral annonce un partenariat avec Microsoft^[21] afin de rendre disponible leur modèle Mistral Large sur le cloud Azure. Au terme de cet accord, l'entreprise américaine devrait prendre une participation minoritaire au capital de l'entreprise^[22]. Le partenariat doit permettre à Mistral AI de distribuer ses modèles aux entreprises, en échange d'un partage des revenus avec Microsoft^[23]. Le partenariat inclut également une recherche et développement en vue de créer des applications pour tous les gouvernements européens et répondre aux besoins spécifiques du secteur public en IA^[24].

Le mercredi 10 avril, la société publie sur Twitter le modèle « Mixtral 8x22b », téléchargeable depuis un lien magnet sous licence libre Apache 2.0. Il repose sur le principe du système d'experts, comme son prédécesseur Mistral 8x7b^[25]. Il compte 176 milliards de paramètres et possède une fenêtre de contexte de 65000 tokens^[26],[27].

Fin mai, l'entreprise lance un modèle de langage appelé Codestral dédié à la génération de code informatique. Comptant 22 milliards de paramètres, il est distribué sous une nouvelle licence dite « Mistral AI non-production license ». Celle-ci restreint l'utilisation du modèle à des fins de recherche scientifique et de test et exclut donc les usages commerciaux^[28]. La création de cette licence sur-mesure s'inscrit dans une recherche de compromis entre la diffusion de la connaissance et la viabilité économique^[29].

En juin 2024, Mistral lève 600 millions d'euros à l'issue d'un tour de financement mené par le fonds américain General Catalyst (en). 65 % du capital reste français d'après le fondateur Arthur Mensch^[30].

En juillet, l'entreprise dévoile deux nouveaux modèles (open source) : Codestral Mamba 7B et Mathstral 7B, ainsi que Mistral NeMo 12B, un modèle développé avec NVIDIA (via plateforme NVIDIA DGX Cloud et le framework NVIDIA NeMo), un modèle aux performances élevées, dopé par l'utilisation du format de données FP8, particulièrement efficace en anglais, français, allemand, espagnol, italien, portugais, chinois, japonais, coréen, arabe et hindi, basé sur un nouveau tokenizer dit « Tekken ». Celui-ci est basé sur Tiktoken et entraîné sur plus de 100 langues. Il surpasse le tokenizer SentencePiece des précédents modèles Mistral pour compresser le langage naturel et le code source : il est environ 30 % plus efficace pour compresser le code source et plusieurs langues majeures et jusqu'à trois fois plus efficace pour le coréen et l'arabe. Les poids du modèle, qui est empaqueté dans un conteneur NVIDIA NIM, sont disponibles sur Hugging Face et la plateforme de Mistral AI. Il peut remplacer les systèmes utilisant Mistral 7B, par exemple pour les agents conversationnels, les tâches multilingues, le codage et la synthèse de document. Selon les tests de Mistral AI, il dépasse Gemma 2 9B et Llama 3 8B, deux modèles open-source sortis quelques mois avant^[31].

Le 19 novembre 2024, l'entreprise annonce des ajouts importants pour Le Chat. Elle ajoute la possibilité de création d'images, en partenariat avec Black Forest Labs, pour utiliser les modèles Flux Pro. De plus, elle a ajouté la possibilité de chercher des informations sur internet afin d'avoir des informations fiables et à jour. Enfin, elle introduit le système de Canvas, une interface collaborative dans lequel l'IA créer du code et l'utilisateur peut le modifié. De plus, ils ont introduit un nouveau modèle, Pixtral Large, qui est une amélioration de Pixtral 12B, intégrant un encodeur visuel de 1B de paramètres couplé à Mistral Large 2. Enfin, celui-ci a également été amélioré, notamment pour les longs contextes et les appels de fonctions^[32].

Mistral met à disposition quatre modèles d'I.A. générative sur sa plateforme Le Chat^[33] :

• Mistral Large 2: c'est le modèle le plus puissant de Mistral, avec 192B de paramètres. Il a une fenêtre de contexte de 128k token. Il est en téléchargement avec une licence restrictive (MNLP) qui interdit notamment l'utilisation commerciale (nécessite une licence commerciale).
• Codeastral: c'est un modèle de 22B de paramètres spécialisé dans le code. Il est aussi en téléchargement avec une licence restrictive (MNLP).
• Mistral NeMo: c'est un modèle de 12B de paramètres développé en partenariat avec Nvidia. On peut le télécharger gratuitement sous licence Apache 2.0.
• Pixtral Large: c'est un modèle de 124B de paramètres qui a des capacités de vision. Il est basé sur le modèle Mistral Large et a un encodeur visuel de 1B de paramètre, ce qui est plus important que les 400M de paramètre de Pixtral.

Mistral met aussi à disposition d'autres modèles via son API^[33]:

• Mistral 7B : c’est le premier modèle de la plateforme. Petit, adapté à l'itération rapide et l'expérimentation. Il est disponible en téléchargement libre sous licence Apache 2.0.
• Mixtral 8x7B : c’est un modèle de mélange d’experts épars (SMoE) de haute qualité avec des poids ouverts.
• Mixtral 8x22B : c’est un des modèles les plus performants de Mistral AI, avec des capacités d’appel de fonction natives, des appels de fonction, un mode json et une fenêtre de contexte de 64k. Il est disponible en téléchargement libre sous licence Apache 2.0.
• Mistral Small: c'est un modèle de 22B de paramètres. Il a une fenêtre de contexte de 128k token. Il est aussi en téléchargement avec une licence restrictive (MNLP).
• Ministral 8B: amélioration du modèle 7B. Il est petit et plus puissant que Mistral 7B. Il a une fenêtre de contexte de 128k token. Il est aussi en téléchargement avec une licence restrictive (MNLP).
• Ministral 3B: plus petit modèle d'IA de Mistral. Il pourra être embarqué dans de petit appareil du fait de son faible poids. Il a une fenêtre de contexte de 128k token. Il est aussi en téléchargement avec une licence restrictive (MNLP).
• Pixtral: c'est un modèle de 12B de paramètres qui a des capacités de vision. On peut le télécharger gratuitement sous licence Apache 2.0.

De plus, les modèles présents sur Le Chat sont aussi disponibles via l'API^[33].

• Anthropic, ChatGPT, GPT-3, GPT-4
• Intelligence artificielle

• (en + fr) Site officiel
• Ressource relative aux organisations :
  • SIREN

• McDonald, D., Papadopoulos, R., & Benningfield, L. (2024). Reducing llm hallucination using knowledge distillation: A case study with mistral large and mmlu benchmark. Authorea Preprints. https://www.techrxiv.org/doi/full/10.36227/techrxiv.171665607.76504195

• Portail de l’intelligence artificielle
• Portail des entreprises