Gate News消息,4月24日——DeepSeek已在MIT许可证下发布V4系列开源模型,权重现已在Hugging Face和ModelScope提供。该系列包含两个混合专家 (MoE) 模型:V4-Pro 总参数达1.6万亿,且每token激活49亿,以及V4-Flash 总参数达2840亿,且每token激活130亿。两者都支持100万token的上下文窗口。
该架构带来三项关键升级:一种混合注意力机制,将压缩稀疏注意力 (CSA) 与高度压缩注意力 (HCA) 结合,大幅降低长上下文开销——V4-Pro在1M上下文下的推理FLOPs仅为V3.2的27%,用于在推理过程中存储历史信息的KV缓存 (VRAM) 也仅为V3.2的10%;用流形约束的超连接 (mHC) 替代传统的残差连接,以增强跨层信号传播的稳定性;并采用Muon优化器以实现更快的训练收敛。预训练使用了超过32万亿tokens的数据。
后训练采用两阶段方案:首先通过监督微调 (SFT) 和GRPO强化学习训练领域特定专家,然后通过在线蒸馏将它们合并为单一模型。V4-Pro-Max (最高推理模式) 宣称在顶级代码基准上拥有最强的开源模型实力,并且在推理和智能体任务上与闭源前沿模型之间的差距显著缩小。V4-Flash-Max在足够的计算预算下实现Pro级推理性能,但在纯知识和复杂智能体任务上受限于参数规模。权重以混合FP4+FP8精度存储。
免责声明:本页面信息可能来自第三方,不代表 Gate 的观点或意见。页面显示的内容仅供参考,不构成任何财务、投资或法律建议。Gate 对信息的准确性、完整性不作保证,对因使用本信息而产生的任何损失不承担责任。虚拟资产投资属高风险行为,价格波动剧烈,您可能损失全部投资本金。请充分了解相关风险,并根据自身财务状况和风险承受能力谨慎决策。具体内容详见
声明。
相关文章
英国瞄准安特罗匹(Anthropic)人工智能以加强银行网络安全
英国正在与人工智能公司 Anthropic 合作,探索金融网络安全方面的一大步。早期讨论显示,政府可能会在银行和金融机构中部署 Anthropic 的先进 Claude Mythos 模型。此举旨在加强防御,以应对网络威胁
CryptoMeter io1 分钟前
中国知识产权局将 AI、半导体和脑机接口纳入快速通道保护计划
Gate News 消息,4月24日——中国国家知识产权局在4月24日宣布,将通过机构改革、强化服务以及扩大应用,为新兴技术建立全面的知识产权保护体系。该局将优化专利审查政策,在人工智能、半导体及相关领域的创新方面,提供多种路径,包括优先审查和加速审查。
GateNews8 分钟前
美国政府在不进行挖矿的情况下运行比特币节点,海军上将表示
一位资深海军上将已表示,美国政府正在积极在比特币网络上运行一个节点,同时刻意避免参与挖矿活动。该披露暗示,当局正在更深入地参与区块链基础设施,以便进行监督和
Crypto Frontier24 分钟前
特斯拉Q1营收增长16%,至224亿美元;人形机器人计划于2026年年中亮相
Gate News 消息,4月24日——特斯拉在4月23日公布的第一季度营收为224亿美元,同比增长16%。公司全球汽车交付量超过358,000辆,而产量超过408,000辆。
特斯拉的上海超级工厂在该季度交付了213,000辆车辆
GateNews24 分钟前
SK Hynix一季度利润因AI繁荣实现五倍飙升并创纪录,员工奖金增至878K
Gate News 消息,4月24日——SK Hynix报告称,截至4月23日,其季度经营利润实现五倍增长,创下纪录,达到37.61万亿韩元 ($32.4 billion),主要受益于来自人工智能和数据中心的需求暴涨。该意外之财正在推动前所未有的员工奖金,分析师预计该奖金可能在2027年每位员工最高达到$878,000,若当前盈利预
GateNews1小时前
DeepSeek V4 架构已验证:4项预测命中3项,缺少 Engram 模块
Gate 新闻消息,4月24日——DeepSeek 今天发布了 V4 模型卡,证实了此前通过对昨日发布的 TileKernels 内核库进行分析所做的架构预测 (4月23日)。根据 Beating 的监测,已确认三个核心组件:mHC
GateNews1小时前