DeepSeek تعلن عن بنية جديدة mHC، وتحدث ثورة في استقرار التدريب باستخدام أسلوب تصوير مبتكر

في 1 يناير، نشرت DeepSeek أحدث أوراقها البحثية التي اقترحت نهجًا مبتكرًا لتدريب النماذج اللغوية الكبيرة. تركز هذه الورقة على بنية جديدة تسمى “Manifold Constrained Hyperconnectivity (mHC)”، والتي تستفيد من المفهوم الرياضي الأساسي للتمثيل. في الصناعة، حظيت هذه التقنية باهتمام كبير باعتبارها قد تمثل اتجاهًا جديدًا في تطوير النماذج.

تحديات تقنية الشبكات ذات الاتصال الفائق والحلول المبتكرة

تقنية الشبكات ذات الاتصال الفائق (HC) التقليدية كانت، من ناحية، مرنة جدًا، لكنها كانت تواجه مشاكل خطيرة أثناء التدريب. على وجه التحديد، تم انتهاك خاصية التمثيل الهوية، مما أدى إلى عدم استقرار في التدريب وقيود على القابلية للتوسع. كانت هذه المشاكل عقبة كبيرة أمام تطوير النماذج الكبيرة.

تقدم بنية mHC التي أعلنت عنها DeepSeek حلاً مبتكرًا لهذه التحديات. نجح فريق البحث في استعادة خاصية التمثيل الهوية المفقودة من خلال تمثيل مساحة الاتصال الفائق (HC) على شكل متعددات، مما أدى إلى تحسين كبير في استقرار النموذج.

الابتكار التقني من خلال تمثيل متعددات وتحسين القابلية للتوسع

الميزة الأكبر لبنية mHC هي قدرتها على تحقيق أداء ممتاز مع ضمان الكفاءة من خلال دمجها مع تحسينات دقيقة للبنية التحتية. على عكس نهج الاتصال الفائق البسيط السابق، فإن معالجة التمثيل باستخدام خصائص متعددات معقدة سمحت بعملية تدريب أكثر تطورًا.

بفضل هذا الابتكار، من المتوقع أن يتحسن استقرار التدريب بشكل كبير، وأن تتوسع النماذج بشكل أكثر فاعلية. وفقًا لتقرير PANews، يتوقع فريق البحث في DeepSeek أن تكون بنية mHC أداة توسع عملية وفعالة في تطوير النماذج الكبيرة.

فهم جديد لتصميم البنى الطوبولوجية وآفاق المستقبل

تم تأليف هذه الورقة بشكل مشترك من قبل الباحثين Zhenda Xie وYixuan Wei وHuanqi Cao، كما شارك مؤسس DeepSeek Wenfeng Liang كمؤلف. أشار فريق البحث إلى أن تطوير بنية mHC قد عزز فهمهم لتصميم البنى الطوبولوجية بشكل كبير.

يعكس هذا النهج، الذي يدمج معالجة التمثيل المعقدة ومفاهيم متعددات، اتجاهًا واعدًا في تطور النماذج الأساسية. في الصناعة، يُنظر إلى هذه التقنية على أنها تلعب دورًا مهمًا في تطوير الجيل القادم من نماذج الذكاء الاصطناعي، مع توقعات واسعة لتطبيقاتها المستقبلية.