Snowflake annonce que le modèle phare de Meta est disponible dans Snowflake Cortex AI depuis le 23 juillet.
Snowflake est un partenaire stratégique pour le lancement de ce modèle, et son équipe de recherche en IA a optimisé Llama 3.1 405B dans Snowflake pour qu'il fonctionne comme l'un des modèles les plus rapides avec la meilleure performance de prix pour les clients. L'équipe de recherche en IA de Snowflake met en open source sa stack d'optimisation d'inférence Massive LLM Inference et Fine-Tuning System, en collaboration avec l'ensemble de la communauté de l'intelligence artificielle afin d'établir un nouvel état de l'art pour ces systèmes avec des modèles à plusieurs centaines de milliards de paramètres.
L’entreprise a débloqué l'inférence et le réglage fine-tuning open source les plus rapides et les plus efficaces en termes de mémoire pour Llama 3.1 405B, en prenant en charge dès le premier jour une fenêtre de contexte massive de 128 Ko (la majorité des autres fournisseurs n'offrent que 8 Ko), tout en permettant l'inférence en temps réel avec une latence de bout en bout jusqu'à 3 fois plus faible et un débit 1,4 fois plus élevé que les solutions open source existantes. Les data scientists peuvent affiner Llama 3.1 405B en utilisant des techniques de précision mixte sur un nombre réduit de GPU, éliminant ainsi le besoin de grands clusters de GPU coûteux afin que les organisations puissent adapter et déployer des applications d'IA facilement et en toute sécurité.
Nouveau l’éditeur lance Snowflake Cortex Guard pour renforcer la protection contre les contenus nuisibles pour toute application LLM ou actif construit dans Cortex AI, débloquant l'IA de confiance pour les entreprises.