技术热点透视20261103：万亿参数的长序列训练，LongCat-2.5 的 86% 对照组是 DDP
本文完全由 WorkBuddy 独立收集资料、调试代码并完成文章写作。
我是 Alex Xiang，前百度/微博工程师，现在专注于 AI 工程与工具产品。更多文章欢迎关注微信公众号「字与码」。
1.6 万亿参数。100 万 token 的序列。每张卡多干 86% 的活。
三个数字都来自 11 月 2 日美团发布的 LongCat-2.5。前两个是规格，第三个是工程结果：长上下文监督微调时，优化后的单卡吞吐比 DDP 基线高 86%，折算下来一张卡顶 1.86 张。
这件事容易被读成「国产算力追上来了」。更值得看的是另一面：这条链上最先撞墙的不是算力峰值，是单卡显存和卡间带宽；而 86% 这个数字的对照组，本身不是一个能跑 1.6 万亿参数的方案。
- 商汤把「少存多算」做成了能下载的模型：Loop-9B 只存 32 层权重、约 9B 参数，一次前向却跑 56 次层计算，推理等效 14.6B，Apache 2.0 放权重。
- 1150 亿美元，全用股票付：Marvell 收购光通信厂商 Lumentum，溢价 23.9%，两家股价当天一起往下走。
- Kimi 让 agent 在游戏引擎里连轴转了 20 小时：交付的不是 demo，是一份能继续开发的原生工程。
- Meta 三个月做出一台人形机器人原型：和上海的傅利叶合作，1.5 米、48 公斤，算力用英伟达 Jetson Thor。
1.6 万亿参数，光权重就要 3.2TB
LongCat-2.5 是原生多模态模型，总参数 1.6 万亿，每个 token 激活约 480 亿，比例大约 1:33。训练全程在国产算力上完成，美团称这是目前国产算力上跑完的最大规模训练任务。
中训练阶段最长的序列是 100 万 token，累计训练量数万亿 token。视觉输入被拆成多层级的离散 token，和文本走同一条主干。智能体编程走大规模长程强化学习。
推理侧用 W4A4：专家权重和激活同时压到 4 bit。
这组规格里，1.6 万亿是最不稀缺的那个数字。按 BF16 存，1.6 万亿参数的权重是 3.2TB——不算梯度、不算优化器状态、不算激活。压到 W4A4，权重约 800GB。到这个量级，参数怎么切、切开之后放哪儿、几块之间怎么通信，比参数本身难得多。
美团技术博客里有一句关键的话：针对国产算力单卡显存小的挑战，围绕超节点优化任务分工，让参数与任务数据的主要通信在超节点内的高速互联网络中完成。
拆开是两层。参数塞不进一张卡，就得按张量或专家切开，切开就要通信。跨机柜的带宽远低于机柜内，所以把最频繁的那部分通信关进超节点，是唯一能少等一会儿的排法。
100 万 token 让这件事更难。长序列训练里，显存大头会从参数转向激活和注意力中间结果，序列越长越压不住。参数是静态的，可以提前切好；激活是动态的，切法跟着 batch 和序列长度变。所以「100 万 token」比「1.6 万亿」更能说明这条链的工程水位。
86% 的分母是 DDP
86% 的完整表述是：在所测的长上下文监督微调任务上，优化后的单卡训练吞吐较 DDP 基线提升 86%。
DDP 是最朴素的并行方式：每张卡存一份完整模型副本，各算各的数据，反向传播后同步一次梯度。它成立的前提是「一张卡放得下整个模型」。1.6 万亿参数按 BF16 是 3.2TB，没有一张卡放得下。
所以这里的 DDP 只能是混合并行里最外层的数据并行，或者加了分片、卸载之后的变体。技术博客没写基线的完整配置——有没有开张量并行、有没有开序列并行、切分比例多少，都没写。
这不是挑刺，是读法。长序列训练的标配是序列并行和上下文并行，它们把一条长序列切开分给多张卡，直接决定激活放不放得下。如果这个基线就是默认的 DDP 配置、没有序列并行，那它量出来的是「从跑不动到跑得动」，不是「比最好的排法还快 86%」。
但它也确实说明了一件事：国产卡上原来那条默认路走不通，改完之后吞吐接近翻倍。离理论上限还有多远，公开材料回答不了。
这一轮的增量也在这一点上。今年 6 月的 LongCat-2.0 已经跑通万亿参数的国产算力训练，「能不能训」已经有了答案。2.5 要回答的是另一件事：单卡显存更小、跨机互联更弱的硬件上，并行策略该怎么重排。
能力只给了一个区间
官方对能力的表述是：多项主流基准的成绩介于 Claude Opus 4.8 与 Claude Opus 5 之间，部分评测超过 Opus 5。
没有单项分数，没有基准名，也没有第三方复测。区间能说明位置，不能说明差距——「介于两者之间」在 20 项基准上成立，和在其中 2 项上成立，是两回事。同一篇通稿里混了不同档位的对照，区间还会更宽。
可核的是业务案例。技术博客写了一个品牌多渠道经营分析的例子：模型自主搭出渠道利润表，发现支付 GMV 增长 23.2%、渠道利润下降 1.7%，再给出资源配置建议。
这个案例的价值不在分数，在于它是一条完整的链：取数、核算、发现问题、给建议。GMV 涨而利润跌这种「增长质量问题」，单看一个指标是看不出来的。
配套产品是 AI 经营工作台「妙手」，已服务古茗、徐升记、益禾堂等连锁品牌。王兴 8 月在财报会上的说法是「我们不会成为 Token 工厂」，2.5 就是把模型嵌回主业工作流。
另一个方向：9B 存下来，14.6B 算出去
同一周还有一条相反的取舍。
商汤 10 月 30 日开源 SenseNova Loop-9B-Preview，Apache 2.0，权重和代码同时放出。结构是这样的：32 层解码器，首尾各 4 层各跑一遍，中间第 4 到 27 层这 24 层共享同一套权重，连续跑两遍。一次前向完成 56 次层计算，权重只存 32 层。总参数 9B，推理时实际约 14.6B。注意力每 4 层一组，三层线性、一层全注意力，循环边界正好对齐这个分组。训练序列最长 262,144 token。
按 BF16 只算权重，9B 约 18GB，27B 约 54GB。省下的是显存，多花的是计算：每 token 的算力按 14.6B 算，比 9B 高出六成。
八项自测里，它领先 Qwen3.5-27B 的都是偏办公和数据的那几项：BIRD-Dev 71.38 对 69.80，WorkBuddy Bench 66.89 对 60.53。落后的是 Terminal-Bench 2.1（40.45 对 47.19）和 τ³-Banking（18.56 对 19.59）。
Terminal-Bench 考的是在终端里操作、改代码、跑命令，正是 agent 的主场。循环架构偏偏在这里落后，说明「拿显存换计算深度」这条路还没在 agent 任务上兑现。而 agent 是最吃计算时间的那类负载：一条轨迹几十步，每步多跑六成计算，等待时间会直接堆出来。
两份账都摊在模型页上：省的是显存，花的是时间。哪个更贵，取决于你手上的卡是显存不够还是吞吐不够。技术报告标着待发布，第三方复测也还没有。
1150 亿美元，用股票付
11 月 2 日，Marvell 宣布以全股票方式收购光通信厂商 Lumentum，隐含企业价值约 1150 亿美元，Lumentum 每股作价约 1132 美元，1 股换 4.5 股 Marvell 股票。相对 10 月 28 日收盘溢价 23.9%，交割后 Marvell 老股东持 67%、Lumentum 股东持 33%，预计 2028 年上半年完成。两家给的数字是年化成本协同超过 10 亿美元、合并后可触达市场 5500 亿美元。
Lumentum 10 月 30 日收盘 840.70 美元，年内已涨 128%。
钱的逻辑不在产能。高速光模块里 DSP 和激光器两项占成本七成以上，Marvell 的长板是互连 DSP，Lumentum 握着磷化铟激光器和光路交换。两家原本是上下游，同一块模块里一个供 DSP、一个供激光器。公告的说法是行业正从独立模块化的组件转向高度集成的光学方案，需要电与光更紧密地协同设计——买的是这个设计权。
需求和瓶颈都已经写在采购单上：英伟达 3 月向 Lumentum 投了 20 亿美元，Lumentum 手里的共封装、近封装光学采购承诺合计超过 50 亿美元。
协同的账很薄：10 亿美元一年，对 1150 亿美元对价，是 0.87%。撑起溢价的不是协同，是全股票——买方估值倍数高于卖方，换股本身就能做出 EPS 增厚。会计上增厚，不等于生意上更值钱。
最值得看的是价差。要约价 1132 美元，10 月 30 日收盘 840.70 美元，中间隔着约 26%。一桩已经签字、董事会一致通过的交易，价差通常在两三个点以内。26% 说明市场在给交割本身定价：2028 年上半年才完成，中间是两年半的监管和股东审批。
20 小时之后，交付的是一份工程
11 月 2 日，Kimi 发布游戏开发与创意工作解决方案：K3.1 Pro 负责理解与规划，Kimi Code 改代码，Kimi Work 承接跨文件多步任务，再通过插件直接操作 Unity、Unreal Engine、Blender 和 Godot 里的现有工程。
演示里最硬的一条是：与 Unity 中国的团结引擎协同，模型在无人工干预下连续工作 20 小时，复现了原作，交付一份可持续开发的原生工程。交付物是可继续编辑的工程加一份操作记录，不是一段演示视频。
值得关注的原因在这儿：agent 能不能进生产，分界线不是它能生成多少，而是它交出来的东西别人接不接得住。可编辑、可审查，把信任问题变成了流程问题。至于 20 小时产出的那份工程，交给五个人接着改三个月还改不改得动，官方没回答，也还没人试过。
三个月，因为供应链在同一个时区
The Information 10 月 31 日报道，Meta 与上海的傅利叶合作，三个月做出人形机器人原型 Max：身高约 1.5 米、重 48 公斤，算力用英伟达 Jetson Thor，面部是一块能模拟表情的屏，还能用信号表达倾听、思考、说话、不确定这几种状态，五指手能抓起小瓶子和玩具。指标给得很具体：5 米外识别说话声，3 米外看懂挥手动作。
9 月双方已启动 Max 2，重做躯干、加投影仪、加辅助上下楼梯的传感器。Meta 机器人业务产品副总裁 Li-Chen Miller 在傅利叶上海工厂待了近两个月；同期 Meta 在上海招供应商开发工程师，在深圳招产品设计工程师和技术项目经理。
值得关注的原因不在参数。Meta 发言人对「为什么找中国公司」的回应是：在美国本土不容易采购到的零部件，Meta 和行业其他公司面临同样的现实。7 月 28 日，FCC 把符合条件的外国制造先进机器人纳入限制清单。一边收紧设备准入，一边把原型开发放在供应链旁边——具身智能眼下卡住的不是模型，是能不能按时拿到零件。
官方强调这些原型只用于内部研究，没有出售计划。原型出来得快，不等于能力到位。
顺带一提
- 香港证监会 11 月 2 日发布首份 AI 应用调查：受访大型金融机构约 30% 已在业务中用上代理型 AI，另有约 25% 在试点。同日金管局启动 SAGE 项目，研究可信 AI 代理的中央登记册与身份识别标准。智能体开始代客发起交易，缺的是「谁批准它做」这一环。
- 苹果 2026 财年第四季度毛利率 47.9%，其中约 1 个百分点来自关税退款。管理层说存储成本环比上升，部分被组件库存下降抵消。存储涨价第一次写进终端巨头的毛利率指引。
- Altman 在 ADIPEC 2026 上说，攻破纳维-斯托克斯方程的下一代 GPT 很快发布，用了 1 万个无层级的 agent、跑了 88 小时。目前没有论文、没有基准、没有可复现材料。
参考资料
- 美团 LongCat-2.5 发布公告与技术博客，2026-11-02
- 中国证券网、上海证券报对 LongCat-2.5 的报道
- 商汤 SenseNova Loop-9B-Preview 模型页（Hugging Face）与开源仓库 README
- Marvell 与 Lumentum 联合公告；澎湃新闻、中国基金报报道
- Kimi 游戏开发与创意工作解决方案官方发布稿
- The Information 关于 Meta 与傅利叶合作的报道（经环球网、腾讯新闻转述）
- 香港证监会 AI 应用调查、金管局 SAGE 项目公告
微信公众号
欢迎关注「字与码」
如果这篇文章对你有用，也欢迎在微信里继续关注后续更新。
X / Twitter
关注 @ax2_zicode
更即时的技术观察、新文章提醒和一些短想法会发在 X 上。