Lors d'un événement très médiatisé sur l'IA à Londres, les dirigeants de Meta ont fourni mardi la première confirmation officielle et des détails sur la sortie imminente de Llama 3, la prochaine itération très attendue du grand modèle de langage open source de l'entreprise.
« Au cours du mois prochain, voire moins, et espérons-le dans un laps de temps très court, nous espérons commencer à déployer notre nouvelle suite de modèles de fondations de nouvelle génération, Llama 3 », a annoncé Nick Clegg, président des affaires mondiales de Meta, à Meta. AI Day Londres, a rapporté .
Clegg a déclaré que Llama 3 se compose « d'un certain nombre de modèles différents avec des capacités différentes et des polyvalences différentes » qui commenceront à être déployés cette année.
Une fois lancé, Llama 3 devrait être le modèle open source le plus avancé disponible, Meta investissant massivement dans son développement. Le modèle a été formé avec 140 milliards de paramètres, dit Meta, soit deux fois la capacité de Llama 2. Le PDG de Meta, Mark Zuckerburg, avait dévoilé certains détails techniques en janvier.
« Nous construisons une infrastructure de calcul massive pour prendre en charge notre future feuille de route, y compris 350 000 H100 d'ici la fin de cette année, et au total près de 600 000 équivalents de calcul H100 si vous incluez d'autres GPU », a déclaré Zuckerberg à l'époque. Cette quantité de puissance de calcul est nettement supérieure à celle utilisée par OpenAI pour entraîner GPT-4, qui nécessiterait environ 25 000 GPU en 90 à 100 jours.
Zuckerberg a également révélé que Meta AI, son assistant IA, devrait être alimenté par Llama 3.
Chris Cox, directeur des produits, a déclaré que Llama 3 sera intégré dans Meta.
« Notre plan sera que Llama 3 alimente plusieurs produits et expériences différents au sein de notre famille d'applications », a-t-il déclaré.
La stratégie open source
L'impact de la sortie de Llama 3 s'étend bien au-delà de Meta, étant donné l'engagement philosophique de l'entreprise à le développer en tant que modèle open source, ce qui contraste clairement avec l'approche fermée et propriétaire adoptée par des concurrents comme OpenAI avec ChatGPT.
En open source ses modèles de langage, Meta vise à nourrir un écosystème de développement d'IA ouvert et à positionner la famille Llama comme la base d'une gamme diversifiée d'outils et d'applications créés par des développeurs et des chercheurs tiers.
« Il est très important de réaliser que les innovations s'appuient toujours sur des contributions antérieures d'autres personnes, parfois très similaires », a tweeté le mois dernier Yann LeCun, responsable de la recherche en IA chez Meta. « C’est pourquoi la recherche ouverte est si importante : elle permet à tout le monde de progresser plus rapidement dans ce domaine. »
Cette philosophie ouverte a déjà engendré une communauté dynamique se rassemblant autour de Llama. Certains des modèles de langage open source les plus avancés aujourd'hui, tels que Mistral, Falcon et Beluga, sont construits en affinant le modèle de base précédent de Llama 2. Plusieurs de ces modèles communautaires ont égalé ou surpassé GPT-3.5 sur certains critères de référence.
La sortie de Llama-3 en tant qu'autre modèle fondamental open source ouvre probablement la voie à une nouvelle génération de LLM qui placera la barre encore plus haut en termes de qualité et d'efficacité en matière d'IA.
Remettre en question la domination d’OpenAI
Le principe open source de Llama 3 pose un défi formidable et à plusieurs niveaux à la domination actuelle du marché d'OpenAI et, par extension, à d'autres modèles propriétaires comme Claude et Gemini.
La communauté open source pourra bientôt s'appuyer sur Llama 3 et itérer rapidement ses variantes pour potentiellement égaler ou dépasser les capacités de GPT-4, tout comme elle l'a fait avec GPT-3.5. Avec des coûts de formation inférieurs partagés entre les contributeurs, l'écosystème ouvert pourrait dépasser le développement de modèles propriétaires d'OpenAI, qui nécessite d'immenses ressources et coûts de calcul.
Si les offres open source atteignent régulièrement la parité avec les offres commerciales, les entreprises pourraient se tourner vers des écosystèmes plus accessibles et plus rentables comme Llama plutôt que de compter et de payer pour OpenAI. Actuellement, GPT-4 est le modèle le plus cher du marché en termes de coût par jeton.
De plus, la communauté open source se renforce à mesure que de plus en plus de personnes s'y impliquent. Meta bénéficie du fait qu'une énorme communauté se construit au-dessus du modèle, le peaufine, développe de nouvelles technologies et l'améliore gratuitement. Cela permet à Meta de développer plus facilement de meilleures versions de son modèle tout en le monétisant grâce à des programmes alternatifs tels que l'octroi de licences pour une utilisation commerciale par de grandes industries.
En d’autres termes, l’inertie continue et les effets de réseau pourraient rendre plus difficile l’attraction des utilisateurs et des clients par les modèles propriétaires d’OpenAI à l’avenir.
Certes, OpenAI détient actuellement une forte avance en termes de rentabilité. Anthropic peut se vanter d'avoir le LLM le plus performant dans le domaine de l'IA. Mais Llama 3 représentera une autre frappe stratégique de Meta pour bouleverser le paysage de l’IA générative.
Bien sûr, tout dépend des performances réelles de Llama 3 et de son adoption au cours de l’année à venir. Mais la communauté de l’IA open source est très active – et adore déjà Llama-2. Les choses vont devenir très intéressantes dans les prochains mois, notamment avec le GPT-5 d'OpenAI qui approche à grands pas.
