算力受限之下,中国大模型为什么越做越"省"
美国收紧海外数据中心算力管制的同一天,腾讯发布了激活参数仅 120 亿的 Hy4 flash。编辑部认为,算力约束正在把中国大模型推向效率路线,但"小而省"替代不了前沿训练。
11月16日这一天,有两条消息值得放在一起看。美国商务部公布新规,要求向中国等受限地区企业提供大量先进芯片算力的海外数据中心申请出口许可。同一天,腾讯发布了 Hy4 flash:激活参数只有 120 亿,腾讯称其单任务成本是 Hy4 的二十分之一。
我们的看法是,算力约束正在塑造中国大模型的技术路线。可用的顶级算力越少、越贵,模型团队就越倾向于在架构和推理效率上下功夫。Hy4 flash 的技术说明几乎是一份"省钱清单":稀疏激活、把 KV 缓存压到 Hy4 的六分之一、4 比特量化、用强化学习把平均输出 token 减半。这种效率路线并不完全是被动选择,它也正在变成竞争优势。腾讯云开发者社区此前称,Hy4 preview 开源后在 OpenRouter 上的 token 处理量曾排名全球第一。价格低、够用,海外开发者就愿意接入。
但也不应高估效率路线的作用。效率优化能大幅降低推理成本,训练前沿模型却仍离不开大规模算力。按腾讯自己公布的数据,Hy4 flash 在 Terminal-Bench 4.0 上得分 19.2,Hy4 为 44.4,在长链路软件工程任务上差距明显。"小而省"适合把 AI 铺进日常办公,替代不了前沿研究。新规让在海外租算力变得更难,国内大规模训练将更依赖本土算力建设。
另一面同样值得关注。路透社报道,中美双方仍在探索 AI 安全合作:重大 AI 事件的相互通报机制还没有运转,美方表示会在 APEC 的 AI 会谈上讨论安全事件的沟通规则。算力上的竞争和安全上的对话同时存在,可能会是未来几年的常态。对国内的应用开发者来说,短期好处是能用到更便宜的模型;对企业来说,更稳妥的做法是从现在起按多模型、多算力来源设计系统,避免押在单一供应商上。
信息来源:腾讯官方发布
信息来源:UPI
信息来源:路透社
信息来源:LLM Stats