Une expérience d’IA décentralisée, autrefois confinée aux cercles crypto, a récemment reçu l’approbation publique du PDG de Nvidia, Jensen Huang, ce qui indique que la formation de modèles distribués pourrait se rapprocher du grand public.

La dynamique de l’IA open source s’amplifie avec l’approbation du PDG de Nvidia

Chamath Palihapitiya a mis en avant le Covenant-72B de Bittensor lors d’un épisode du All-In Podcast, le présentant comme un exemple concret d’intelligence artificielle (IA) décentralisée allant au-delà de la théorie. Bittensor fonctionne comme un réseau décentralisé basé sur la blockchain, établissant un marché peer-to-peer où modèles d’apprentissage automatique et calculs IA sont échangés et incités.

Palihapitiya a expliqué l’effort en termes simples : un grand modèle de langage (LLM) entraîné sans infrastructure centralisée, alimenté par un réseau de contributeurs indépendants. « Ils ont réussi à entraîner un modèle LLaMA de 4 milliards de paramètres, totalement distribué, avec une multitude de personnes contribuant avec un surplus de calcul », a-t-il dit, qualifiant cela de « réalisation technique assez folle ».

La comparaison a été illustrée par une analogie familière. « Il y a des personnes aléatoires, et chacune reçoit une petite part », a ajouté Palihapitiya, faisant référence à un projet de calcul distribué précoce qui exploitait le matériel inutilisé dans le monde entier.

Huang n’a pas rejeté l’idée. Au contraire, il a adopté une vision plus large du marché de l’IA, suggérant que les approches décentralisées et propriétaires ne sont pas mutuellement exclusives. « Ces deux choses ne sont pas A ou B ; c’est A et B », a déclaré Huang. « Il n’y a aucun doute là-dessus. »

Cette vision à double voie reflète une division croissante — et un chevauchement — dans le domaine de l’IA. D’un côté, des systèmes fermés et très sophistiqués comme ChatGPT, Claude et Gemini. De l’autre, des modèles à poids ouverts et décentralisés permettant aux développeurs et organisations de personnaliser les systèmes selon leurs besoins spécifiques.

Huang a clairement indiqué qu’il considère ces deux voies comme essentielles. « Les modèles sont une technologie, pas un produit », a-t-il dit, notant que la majorité des utilisateurs continueront à s’appuyer sur des systèmes sophistiqués et polyvalents plutôt que de construire le leur à partir de zéro.

Par ailleurs, il a souligné que dans certains secteurs, la personnalisation n’est pas une option. « Il y a tous ces secteurs où leur expertise spécifique… doit être capturée de manière à ce qu’ils puissent la contrôler », a expliqué Huang, ajoutant que « cela ne peut venir que de modèles ouverts ».

Cette déclaration correspond parfaitement à l’approche de Bittensor. Covenant-72B, développé via son sous-réseau 3 (Templar), représente l’une des plus grandes formations décentralisées à ce jour, coordonnant plus de 70 contributeurs via des connexions Internet standard, sans autorité centrale.

Techniquement, le modèle repousse les limites. Avec ses 72 milliards de paramètres et entraîné sur environ 1,1 trillion de tokens, il exploite des innovations telles que des protocoles de communication compressés et le parallélisme de données distribué pour rendre la formation viable en dehors des centres de données traditionnels.

Les indicateurs de performance suggèrent qu’il ne s’agit pas simplement d’une expérimentation. Les résultats de benchmark le placent en compétition avec des modèles centralisés établis, ce qui explique en partie pourquoi le projet a attiré l’attention au-delà des audiences crypto natives.

Le marché a également réagi. Après l’annonce, le jeton du projet, TAO, a augmenté de 24 % depuis que la vidéo de Palihapitiya et Huang a circulé sur les réseaux sociaux.

Cependant, les commentaires de Huang laissent entendre que la véritable histoire n’est pas la disruption, mais la coexistence entre les deux. Les systèmes IA propriétaires resteront probablement dominants pour les utilisateurs généraux, tandis que les modèles ouverts et décentralisés occuperont des rôles dans des applications spécialisées, à coût réduit ou axées sur la souveraineté.

Pour les startups, le PDG de Nvidia a esquissé une stratégie pragmatique : commencer par l’ouverture, puis ajouter des avantages propriétaires. « Chaque startup dans laquelle nous investissons maintenant est d’abord open source, puis passe au modèle propriétaire », a-t-il déclaré.

En somme, l’avenir de l’IA ne pourrait pas appartenir à une seule architecture ou philosophie. Il pourrait appartenir à ceux qui savent naviguer entre les deux — et savoir quand utiliser chacune.

FAQ 🔎

• Qu’est-ce que le Covenant-72B de Bittensor ?

Un modèle de langage de 72 milliards de paramètres entraîné via un réseau décentralisé de contributeurs sans infrastructure centralisée.

• Que a dit Jensen Huang à propos de l’IA décentralisée ?

Il a dit que les modèles d’IA ouverts et propriétaires coexisteront, décrivant leur relation comme « A et B », et non comme un choix entre eux.

• Pourquoi cette évolution est-elle importante ?

Elle montre que de grands modèles d’IA peuvent être entraînés en dehors des centres de données traditionnels, remettant en question les idées préconçues sur les besoins en infrastructure.

• Comment cela influence-t-il l’industrie de l’IA ?

Cela soutient un avenir hybride où les plateformes centralisées et les modèles décentralisés jouent des rôles différents dans divers secteurs.