Lorsque Facebook, Inc. est devenu Meta Platforms, Inc. en octobre 2021, Mark Zuckerberg n’aurait peut-être pas imaginé qu’il serait ambitieux à moins d’avoir une capacité surnaturelle à voir dans l’avenir. Pariez sur le métaverse Environ un an plus tard, il a rencontré un énorme barrage routier.
En novembre 2022, OpenAI a lancé ChatGPT et en quelques jours presque tout le monde parlait des fonctionnalités du chatbot conversationnel. Pour beaucoup, ce mouvement a été le point de départ d’une course au leadership en intelligence artificielle qui a durement ébranlé l’industrie technologique.
Certaines entreprises ont été mieux placées que d’autres. Microsoft était sans aucun doute l’un d’entre eux.. Les habitants de Redmond avaient investi 1 milliard de dollars dans l’entreprise dirigée par Sam Altman en 2019, et lorsqu’ils ont vu ce qui s’était passé, ils ont de nouveau sorti le chéquier, cette fois pour 10 milliards de dollars.
Le grand changement de Meta
Malgré tout cela, Meta a tout de même brûlé une fortune dans le Metaverse, une idée à long terme qui a entraîné de nombreux défis. Atteindre les résultats souhaités a nécessité des avancées majeures en réalité virtuelle et augmentée. Un modèle économique solide devait être développé. Et enfin, il faudrait des années avant que ce ne soit rentable.
Les possibilités se trouvaient apparemment dans le monde de l’intelligence artificielle, bien qu’au plus haut niveau. Et ce n’est pas comme si l’entreprise de réseaux sociaux n’avait pas d’expérience dans ce domaine, comme avec ses systèmes Recommandation de contenu et sa plateforme publicitaire sont principalement alimentés par des algorithmes avancés.
Au contraire, il était à la traîne parce qu’il avait fait des progrès significatifs dans le développement de modèles linguistiques de la prochaine génération. Selon des documents consultés par Reuters, l’infrastructure de l’entreprise a dû subir des changements importants pour rattraper son retard, tandis que l’utilisation d’une puce d’IA propriétaire en production n’a pas tout à fait fait son chemin.
Les fuites suggèrent que le dernier changement de gouvernail a eu lieu à la fin de l’été 2022, mais maintenant nous commençons à voir les résultats. Bien que Meta affirme qu’elle reste attachée au Metaverse, elle montre clairement qu’elle fort accent sur l’IAavec des projets couvrant les algorithmes génératifs et au-delà.
Ce jeudi, Zuckerberg a annoncé quatre nouveautés destinées à encourager les “nouvelles expériences” avec l’intelligence artificielle de Meta. Il a levé le rideau pour dévoiler la mise à niveau de son centre de données AI existant, le Research SuperCluster, une nouvelle puce auto-conçue, une nouvelle conception de centre de données et un assistant de programmation. Nous nous concentrerons sur les trois premiers.
Propre centre de données, propulsé par NVIDIA
En janvier de l’année dernière, nous avons appris que Meta était en développement depuis plus d’un an Centre de données IA qui promettait d’être l’un des plus puissants du genre. Comme de nombreux projets présentant des caractéristiques similaires, la construction du soi-disant AI Research SuperCluster (SRC) a été planifiée étape par étape et par étapes.
La deuxième phase du SRC, qui devrait être mise en ligne mi-2022, vient de s’achever. Meta a apporté quelques ajustements à son graphique pour essayer d’atteindre près de 5 exaFLOPS de puissance de traitement à pleine charge. Tout cela grâce à un matériel rooté et très coûteux développé par NVIDIA.
Dans cet ambitieux centre de données de Menlo Park, nous trouvons 2 000 systèmes NVIDIA DGX A100 avec 16 000 puissants GPU NVIDIA A100 sorti en 2020. Tout cela sous le toit du puissant système de connexion NVIDIA Quantum InfiniBand 16 Tb/s.
Comme nous l’avons dit, le SRC est en opération depuis longtemps, c’est pourquoi il a été utilisé par l’entreprise pour divers projets de recherche. Parmi eux, on retrouve LLaMA, le grand modèle linguistique qui a été présenté au public plus tôt cette année. Une sorte de concurrence aux systèmes GPT génératifs d’OpenAI.
Ce centre de données devrait être l’un des meilleurs avec la mise à niveau qui vient d’être reçue protagonistes des prochaines étapes du but. La société affirme qu’elle continuera à l’utiliser pour former des modèles de langage et même explorer d’autres domaines de l’IA générative. De plus, affirme-t-il, ce sera la clé de la construction du métaverse.
Une nouvelle approche, “made in Meta”
Comme mentionné, l’infrastructure d’IA opérationnelle de Meta est actuellement basée sur NVIDIA, une entreprise qui est devenue l’un des grands gagnants de la course dans cet espace. La société a suivi les traces de Google et a décidé d’adopter une approche très spécifique pour développer sa propre puce haute performance pour les centres de données d’IA.
Les solutions basées sur GPU (Graphics Processing Unit) sont souvent le bon choix pour les centres de données en raison de leurs hautes performances plusieurs threads de travail bien sûr en même temps. Compte Meta dans un article de blog concluant qu’ils ne sont généralement pas adaptés.
Bien que ceux-ci jouent un rôle fondamental dans les centres de données dédiés à la formation de modèles d’IA, ils ne sont pas aussi efficaces dans le processus d’inférence, selon la société de réseautage social. Pour mettre les choses en contexte, l’inférence est la deuxième phase du processus d’apprentissage automatique qui se produit après la formation.
Au cours de la formation, comme mentionné précédemment, le modèle apprend à partir des données et ses paramètres sont ajustés pour fournir des réponses dans un processus très sophistiqué. temps et puissance de calcul. La conclusion met en pratique ce qui est appris en fournissant des réponses, mais avec une fraction de la force utilisée dans la formation.
CPU meilleur que GPU pour le traitement des inférences
Sur la base de cette prémisse, Meta a changé son approche. Au lieu d’utiliser des systèmes basés sur GPU pour les processus d’inférence, il a choisi d’utiliser des CPU (Central Processing Units). Cela signifiait la possibilité de développer leur propre famille de puces appelée Meta Training and Inference Accelerator (MTIA) spécifiquement pour l’inférence.
Bien que ce projet trouve ses origines en 2020, l’entreprise a maintenant décidé d’en parler publiquement. Et avec quelques données techniques intéressantes. Nous sommes face à des puces fabriquées par le processus Photolithographie TSMC 7 nanomètres dont le TDP est de 25 W. Il est conçu pour prendre en charge jusqu’à 128 Go de stockage.
Chaque processeur est monté sur des cartes M.2 connectées via des emplacements PCIe Gen4 x8. Gardez à l’esprit que dans les centres de données, plusieurs de ces puces fonctionnent ensemble pour fournir des niveaux élevés de puissance de calcul. Ces caractéristiques décrites ci-dessus ne sont pas définitives et sont en constante évolution.
Nous ne savons pas dans quelle mesure ces puces conçues par Meta et fabriquées par TSMC entreront en jeu, mais le point suivant peut servir de guide. L’entreprise y travaille déjà Centres de données de nouvelle génération, qui complétera le travail du SRC. Le cœur de ces centres de données sera précisément les puces MTIA.
Meta affirme que le contrôle racine des composants physiques et logiciels de leurs futurs centres de données se traduira par une “expérience de bout en bout” qui leur permettra d’améliorer considérablement la capacité de leur centre de données, mais ne mentionne aucune date. Bien sûr, rappelez-vous que nous sommes au milieu d’une course.
Des photos: But
A Xataka : Sam Altman est conscient que pour réglementer l’IA, vous devez l’autoriser. C’est particulièrement bon pour OpenAI.
