Gate News 消息,4月22日——普林斯顿大学 PhD 学生 Yifan Zhang 在 X 上披露了 DeepSeek V4 的完整技术规格,此前于 4月19日进行了预览。V4 拥有 1.6 万亿(1.6 trillion)总参数,并提供轻量化变体 V4-Lite,参数规模为 2850 亿(285 billion)。
该模型采用 DSA2 注意力机制,该机制结合了 DeepSeek 先前在 V3.2 中的 DSA (DeepSeek Sparse Attention) 以及 NSA (Native Sparse Attention)(并配备 512 维的头部嵌入),再配套使用稀疏多查询注意力 (MQA) 与滑动窗口注意力 (SWA)。MoE (Mixture of Experts) 层包含 384 位专家,每次前向传递激活 6 位,使用 Fused MoE Mega-Kernel。残差连接采用 Hyper-Connections 架构。
首次披露的训练细节包括:使用 Muon 优化器 (applying Newton-Schulz orthogonalization to momentum updates),32K token 的预训练上下文窗口,以及在强化学习期间使用 GRPO (Group Relative Policy Optimization) 并进行 KL 散度修正。最终上下文窗口扩展至 100 万(1 million)tokens。该模型为仅文本模型。
Zhang 并未受雇于 DeepSeek,公司也尚未对所披露信息作出官方评论。
免责声明:本页面信息可能来自第三方,不代表 Gate 的观点或意见。页面显示的内容仅供参考,不构成任何财务、投资或法律建议。Gate 对信息的准确性、完整性不作保证,对因使用本信息而产生的任何损失不承担责任。虚拟资产投资属高风险行为,价格波动剧烈,您可能损失全部投资本金。请充分了解相关风险,并根据自身财务状况和风险承受能力谨慎决策。具体内容详见
声明。
相关文章
阿里巴巴 Qwen 向外部合作伙伴开放 AI 服务,中国东方航空首家完成集成
阿里巴巴向外部合作伙伴开放 Qwen AI 服务;中国东方航空成为首家走出阿里巴巴之外、部署端到端 AI 航班预订服务的公司,使用户能够请求诸如更实惠的直飞航班或更宽敞的座位等选项。
GateNews4 分钟前
微软集成 Anthropic 的 Claude Mythos Preview 以检测软件漏洞
Gate News 消息,4月23日——微软正在将 Anthropic 的 Claude Mythos Preview AI 模型集成到其安全开发生命周期中,以更早识别软件缺陷并加速修复。公司在开源基准上的测试显示,Mythos 在漏洞检测方面优于此前的模型
GateNews4 分钟前
Google 推出用于训练与推理的独立 AI 芯片,性能提升 2.8 倍
Gate News 消息,4 月 23 日——Google 于 4 月 22 日宣布,它将在今年晚些时候发布用于训练和推理的独立第八代 TPU 芯片,以取代其先前的合体设计。此举瞄准 AI 代理(agent)工作负载,并为 Google Cloud 客户提供了可替代 Nvidia 的方案
GateNews24 分钟前
Liquid Capital 创始人:加密货币 VC 失败源于与 Web2 脱节;AI + 金融带来新机遇
Gate News 消息,4月23日——Liquid Capital 创始人 Jack Yi 在 X 上分享称,过去的加密货币 VC 和项目失败在很大程度上源于团队在投入资本时出现浪费:他们通过对标 Web2 的方式不当来开发不必要的 Web3 产品。Yi 认为,Web3 的本质是一门金融产业
GateNews36 分钟前
若破产清算财产未出售 Anthropic、Solana、SpaceX 等持仓,FTX 将持有 $114B 资产
据 Cointelegraph,FTX 未清算的持仓价值合计约 $114B ,其中包括 Anthropic 82.3B 美元、SpaceX 150B 美元、Solana 51B 美元、Cursor 30B 美元、Robinhood 49B 美元,以及 Genesis Digital 35B 美元。
摘要:据 Cointelegraph,若 FTX 破产清算财产此前保留其持仓,那么它将大约持有 $114 十亿的资产,其中以 Anthropic 和 SpaceX 为主,凸显投资组合中巨大的未实现收益。
GateNews36 分钟前
英伟达 H200 对华出货因审批延迟及条款分歧而推迟
美国商务部长霍华德·卢特尼克(Howard Lutnick)表示,路透社称,4月22日,英伟达尚未向中国客户出售其H200 AI芯片,原因是缺乏北京方面的批准,以及中国优先投资于国内供应商。
特朗普政府已批准部分发往中国的H200
Crypto Frontier50 分钟前