Le sous-réseau Bittensor a terminé la pré-formation du LLM avec 72 milliards de paramètres, TAO a augmenté de 54,8% en deux semaines

Gate News, 16 mars, selon des informations officielles, le sous-réseau Templar (SN3) de Bittensor a achevé le 10 mars la plus grande pré-formation décentralisée de LLM de l’histoire, Covenant-72B. Covenant-72B est un modèle linguistique de 72 milliards de paramètres, pré-entraîné par l’équipe Templar sur le sous-réseau Bittensor 3, entièrement basé sur Internet général, sans centre de données centralisé. Ce modèle a obtenu un score de 67,1 en test MMLU (zéro échantillon), surpassant sous les mêmes conditions d’évaluation des modèles de référence centralisés tels que LLaMA-2-70B et LLM360 K2. Il s’agit du plus grand modèle linguistique collaboratif entièrement sans licence à ce jour, avec plus de 70 nœuds différents ayant contribué en ressources de calcul tout au long de son fonctionnement. L’équipe a publié tous les poids et points de contrôle sous licence Apache. En conséquence, Bittensor (TAO) et ses tokens de sous-réseau ont connu une hausse générale, TAO ayant augmenté de 54,8 % au cours des deux dernières semaines. Le token du sous-réseau τemplar a connu une hausse de 194 % en 7 jours, atteignant actuellement 19,3 dollars.