Xiaomi раскрывает подробности обучения MiMo-V2-Pro: 1T параметров модели, тысячи развернутых GPU

Сообщение Gate News, 24 апреля — руководитель команды большой языковой модели Xiaomi Луо Фули в подробном интервью раскрыла, что модель MiMo-V2-Pro в сумме имеет 1 триллион параметров и для обучения потребовала тысячи GPU. Она отметила, что масштаб 1T представляет собой минимальный порог для достижения производительности, приближающейся к уровню Claude Opus 4.6, и получения конкурентного входного билета на следующий этап ИИ-агентов.

Технически версия Pro использует механизм экстремально разреженного внимания с соотношением 7:1 между глобальным вниманием и вниманием в скользящем окне, чтобы контролировать затраты на инференс при обработке длинного контекста. Модель также сохраняет архитектуру MTP (Multi-Token Prediction), чтобы задействовать избыточную вычислительную мощность для более быстрого инференса.

Со стороны управления команда MiMo численностью 100 человек имеет лишь 30–40 сотрудников, непосредственно вовлеченных в ключевые итерации. Команда работает без формальных иерархий или явных делений на подгруппы и без фиксированных дедлайнов поставки. При столкновении с нестабильными численными проблемами, такими как всплески training loss, команда в первую очередь приостанавливает обучение для расследования, даже если это означает остановку работы на одну-две недели и понесение затрат в миллионы долларов на вычисления.

Отказ от ответственности: Информация на этой странице может поступать от третьих лиц и не отражает взгляды или мнения Gate. Содержание, представленное на этой странице, предназначено исключительно для справки и не является финансовой, инвестиционной или юридической консультацией. Gate не гарантирует точность или полноту информации и не несет ответственности за любые убытки, возникшие от использования этой информации. Инвестиции в виртуальные активы несут высокие риски и подвержены значительной ценовой волатильности. Вы можете потерять весь инвестированный капитал. Пожалуйста, полностью понимайте соответствующие риски и принимайте разумные решения, исходя из собственного финансового положения и толерантности к риску. Для получения подробностей, пожалуйста, обратитесь к Отказу от ответственности.

Связанные статьи

Meta Platforms Планирует Сокращение Штата На 10% 20 Мая, Затронув Примерно 8 000 Должностей

Сообщение Gate News, 24 апреля — Meta Platforms планирует сократить штат примерно на 10%, затронув около 8 000 должностей, 20 мая. Увольнения предназначены для повышения операционной эффективности при одновременном увеличении инвестиций в искусственный интеллект. Запланированная реорганизация отражает то, что

GateNews13м назад

Правительство Трампа объявило план по борьбе с AI-экстракцией и переработкой, обвиняя китайские компании в систематическом похищении возможностей моделей

Официальный помощник президента Управления по научно-технической политике Белого дома (OSTP) Майкл Дж. Крацйос (Michael J. Kratsios) 23 апреля сделал официальное заявление, в котором указал, что администрация Трампа располагает информацией, свидетельствующей о том, что иностранные структуры (в основном расположенные в Китае) намеренно нацелены на крупные американские компании в сфере искусственного интеллекта, систематически извлекают возможности американских AI-моделей с помощью «десятков тысяч прокси-аккаунтов» и систем взлома (jailbreak), а также одновременно объявили о четырех мерах реагирования.

MarketWhisper35м назад

DeepSeek выпускает V4 open-source preview, технический рейтинг 3206 превзошёл GPT-5.4

DeepSeek 24 апреля официально запустила серию предварительных версий V4, выпущенную с открытым исходным кодом по лицензии MIT; веса модели также были одновременно размещены на Hugging Face и ModelScope. Согласно техническому отчету DeepSeek V4, V4-Pro-Max (режим с максимальной вычислительной/инференс-усиленной мощностью) набрала 3206 баллов на бенчмарке Codeforces, превзойдя GPT-5.4.

MarketWhisper51м назад

Cambricon завершает адаптацию Day 0 DeepSeek-V4, отмечая веху для экосистемы ИИ-чипов в Китае

Сообщение Gate News, 24 апреля — сегодня Cambricon объявила о завершении адаптации Day 0 для DeepSeek-V4, новейшей крупной языковой модели от DeepSeek, с использованием ее собственной программной экосистемы NeuWare и фреймворка vLLM. Код адаптации был одновременно опубликован с открытым исходным кодом, отмечая

GateNews1ч назад

Tencent выпустила в открытый доступ Hy3 в предварительной версии; базовые тесты кода улучшены на 40% по сравнению с предыдущим поколением

Tencent 4月23日在 GitHub、Hugging Face 以及 ModelScope 平台正式开源 Hy3 预览版大型语言模型,并同步在腾讯云(Tencent Cloud)提供付费 API 服务。据 Decrypt 于 4月24日 报道,Hy3 预览版自 1月下旬启动训练,截至发布日历时不足三个月。

MarketWhisper1ч назад

Инвестиции FTX в портфель на сумму 158 триллионов вон, если бы компания не обанкротилась

FTX, централизованная криптовалютная биржа, которая подала заявление о защите от банкротства по главе 11 в ноябре 2022 года из-за дефицита ликвидности и оттока капитала, согласно анализу, на который ссылается Пак, при условии, что она не обрушилась бы, удерживала бы инвестиции, оцененные примерно в 158.796 трлн вон.

CryptoFrontier1ч назад
комментарий
0/400
Нет комментариев