技术热点透视20261028:Genie 4 世界模型评测,两分钟够不够训练机器人
原创 · 约 20 分钟阅读 · 阅读 --

技术热点透视20261028:Genie 4 世界模型评测,两分钟够不够训练机器人

作者: Alex Xiang


本文完全由 WorkBuddy 独立收集资料、调试代码并完成文章写作。

扫码注册 WorkBuddy 即可获取 2000 积分

我是 Alex Xiang,前百度/微博工程师,现在专注于 AI 工程与工具产品。更多文章欢迎关注微信公众号「字与码」。

两分钟。这是 Genie 4 能把一个场景维持住不漂移的最长时间,上一代是一分钟。

10 月 27 日(美国时间),谷歌 DeepMind 以研究预览的形式放出它,新增三样:运行中改天气、改机位、往画面里塞人和物;原生音频;由 Gemini 在后台当导演的混合结构。

同一周另一条消息:AMD 宣布以 82 亿美元收购李飞飞参与创办的 World Labs。

两件事放在一起,容易被读成「世界模型要替代游戏引擎」。它真正在卖的是别的东西——给机器人一个便宜的练习场。这个练习场只保证「看起来对」,不保证「算得对」,而机器人摔跤从来不是因为画面不像。

  • Cursor 把 agent 变成一个文件夹:Agent SDK 转正,提示词写 Markdown、工具写 TypeScript、评测进 CI,agent 能像普通代码一样回滚。
  • 19 个月倒了 20 多家机器人公司:上半年 322 起融资、934 亿元进场,58.94% 停在种子轮到 Pre-A。
  • 蚂蚁灵光 2.0 开始管「事」:从执行指令改成持续跟进事务,独立云主机保活,授权密钥与 agent 分开托管。
  • 即梦把短剧做成流水线:剧本、分镜、预演、后期塞进一个界面,Seedance 2.5 双十一最低 0.19 元一秒。

两分钟,和官方没给的第二个数

开放节奏:可信测试者 → Project Genie(Google AI Ultra 用户)→ Gemini API 与 AI Studio 早期合作伙伴。最后一档据国内媒体报道,官方没给日期。

能力对照,口径来自 DeepMind 官方博客:

能力Genie 3Genie 4
场景一致性时长约一分钟最长两分钟
运行中改场景不支持自由编辑可实时改天气、机位、加人加物
音频无环境声、配乐、对话,与画面同步
画面上一代水平官方称更接近实拍,物理与人物动作更自然

更值得看的是那个「导演」。Gemini 不生成画面,它拆步骤、逐帧检查;Genie 负责渲染。官方实验里,Gemini 4 Argon 把「让 Apollo 下棋」拆成若干步,边模拟边以字幕喂给 Genie 4,同一场景于是能在运行中被不断改写,朝任务完成的方向推。这就是混合世界模型:语言模型管逻辑,像素模型管表象。

整篇博客里没有第二个量化指标。没有物理误差,没有可控性分数,没有任务成功率,也没有和 Genie 3 的并排表。「两分钟」是唯一的硬数字,而它还是相对表述。一个用来「模拟现实」的模型,不给任何衡量「模拟得多准」的数,这件事本身就是信息。

官方倒是老实列了短板:长时间运行、多次改写、持续探索之后,视觉细节和物体持续性会漂;复杂物理交互、音频准确性、文本渲染、空间精度都在待改进清单上。这份清单比发布稿更值得读——它列的恰好是机器人训练最需要的四项。

现代车间里的白色机械臂

机器人策略训练要的不是好看的画面,是每一次接触都算对:摩擦系数、夹爪形变、物体滑动。世界模型现在能给前一半。图为示意图,非 Apollo 机型。图:Pexels。

机器人要的不是画质,是接触

把世界模型当训练场,要同时满足三件事。

能连续跑够长——一条抓取轨迹几秒到几十秒,两分钟已覆盖多数桌面操作。这项过了。

能被指令推着走——拆步骤、实时喂字幕,等于给仿真器加了「按计划改剧情」的接口。这项也过了,而且比时长更漂亮。

接触要算对——这项没有过。

摩擦是分段非线性的,形变取决于材料本构,抓取成败常取决于几毫米偏差和几毫秒力反馈。这些在视频里看不出来:一段渲染漂亮的抓取,夹爪可能已经穿模,物体可能正在「手里」缓慢滑动而模型毫无察觉。

所以分水岭不是「能生成多久」,是「物理误差能不能被量化」。仿真行业早有度量:接触力误差、穿透深度、摩擦锥违背率、迁移后的成功率衰减。Genie 4 一个都没给。

回头看 Apollo 下棋:它证明的是「Gemini 能拆步骤、Genie 能按步骤改画面」,不是机器人学会了什么。没有真机执行,也没有迁移后的成功率。

买世界模型的不是游戏公司

这一周真正说明问题的是钱的流向。

AMD 在 9 月底宣布以 82 亿美元收购 World Labs——李飞飞参与创办、至今没有量产产品的那家。亚马逊正洽谈收购 Decart。Rivian 买下 Third Dimension,用途写得直白:把仿真搬进内部做自动驾驶测试。Runway 几个月前发布第二代世界模型 GWM Worlds 2。

芯片公司买的是负载——推理连续、实时、吃显存,一秒几十帧比一次对话贵得多。车企买的是里程——真车跑一百万公里要几年和几千万,仿真里跑同样覆盖只要电费。云厂商买的是入口——模型放进云上按秒卖。视频公司买的是内容管线。

没有一家是冲「替代游戏引擎」去的。引擎要确定性,同一输入必须同一输出,否则存档、回放、联机全崩;世界模型是采样出来的,每次都不一样。这两件事在工程上是相反的诉求。

主板上的处理器与供电模块

一块主板上的处理器与周边电路。世界模型把推理从「一次对话」变成「连续几十帧的渲染」,这条负载最终要落在芯片上。图:Pexels。

我的判断

世界模型现在的位置,像 2023 年初的大模型:demo 足够让人相信方向,度量一片空白。

空白不会一直空着。谁先把「接触任务的物理误差」做成可复现的公开基准——不是画质评分,是「仿真里练出来的策略搬到真机还剩几成」——谁就拿到机器人训练的定价权。这比把一致性推到十分钟重要:两分钟对多数操作已够用,物理不对的话,二十分钟也没意义。

所以这一代最现实的落点不是训练场,是预演工具:影视分镜、游戏原型、历史场景还原、工业方案的零到一。这些场景要的正是「快、像、能改」,恰好是它已交付的三件事。

这条判断可以被推翻:如果半年内有人公开发表「在 Genie 系列里训练的策略零样本迁移到真机、达到可复现的成功率」,训练场就成立,物理保真度不够也能靠域随机化补。在那之前,当预演工具用不会亏。

泼一盆冷水

能拿出手的量化指标只有一个。 没有物理误差、没有可控性分数、没有成功率,也没有和 Genie 3 的并排表。「两分钟」是唯一数字,且是相对表述。它只证明新模型比旧模型长,不证明够用。

两分钟是上限,不是典型值。 官方自己写明:长时间运行、多次改写、持续探索之后,视觉细节和物体持续性都会漂。演示里的两分钟,是在最有利条件下剪出来的。

下棋实验里没有机器人。 Apollo 只是一个被渲染的对象。把它读成「机器人可以先进仿真练」,是把路线图当结果。

文本渲染和空间精度被列为短板。 机器人任务里,读标签、认型号、对孔位、插排线全靠这两项。连画面里的字都画不清,很难给毫米级对齐的任务提供训练信号。

没有价格,也没有 API 时间表。 研究预览、邀请制、先给 Ultra 用户。未来半年大概率用不上,能用上时接口和计费还可能变。

怎么用

一,先当预演,别当仿真。出分镜、试镜头、验证一个场景值不值得做,今天就能省时间;拿它生成训练标签,还早。

二,评估供应商看接触任务,不看画质。让对方演示「把软布叠起来」或「把插头插进插座」,物理短板会暴露干净。

三,合成数据的配比要能回滚。哪怕真开始用,也把「纯真机」那条基线留着,迁移成功率一掉就能切回去。

四,盯买家的采购逻辑,不盯 demo。芯片厂为了卖推理时长,车企为了省路测里程,这两条会决定接口是实时流还是离线批量。

其他动态

Cursor 把 agent 变成一个文件夹

10 月 26 日 Cursor 宣布 Agent SDK 正式可用,npm 包名 @grok/agent-sdk,0.3.0 在 10 月 25 日发布。一个 agent 就是一个目录:bot/instructions.md 是常驻提示词,bot/tools/ 下每个 .ts 文件是一个带类型定义的工具,另有 skills、subagents、mcp-connections、channels、hooks 几个目录,评测放在 evals/*.eval.ts。可托管在 Cursor,也可自托管——每个 agent 是一个 Node 进程。要求 Node 22.13 以上。官方文档说它跑的就是 Bugbot、Security Review 那套底座,价格和基准都没公布。

值得关注的原因:改的不是能力,是 agent 的存放位置。以前提示词躺在后台控制台,改一个字没人知道会坏哪儿;现在它在仓库里,能 diff、能 review、能回滚,评测跟着提交跑。最难的一直不是模型,是「改了提示词怎么知道变好还是变坏」——evals 就是这个答案。代价是 Cursor 的运行时成了依赖,迁移不再是换个 key 那么简单。

19 个月,20 多家机器人公司倒在量产前夜

据新浪财经 10 月 28 日报道,过去 19 个月国内 20 多家智能机器人公司停摆或破产,多数倒在小批量交付之前。新鼎资本张弛判断:国内近千家人形机器人企业,长期看只留 10 到 20 家。报道点了两个名字:达闼员工等了一年才确认薪资无望,盈合的投资人直到破产才发现控股方早已离场。另一头,21 世纪经济报道援引 IT 桔子数据:上半年融资 322 起、934 亿元,是去年同期五倍,其中种子轮到 Pre-A 占 58.94%。

产线上的黄色工业机械臂

样机下线和大批量交付之间隔着结构、传动、可靠性、安全、成本五道工程关,每一道都要连续跑够时间才算过。图:Pexels。

值得关注的原因:一半以上的钱投给了还没有产品、没有收入的公司,这个结构决定了未来 12 个月的出清还没结束。更值得注意的是失败的位置:不是技术路线错了,是卡在「样机到量产」。软件能靠迭代补,物理实体不行——结构要试、传动要磨损、可靠性要跑够时间。

灵光 2.0 开始管「事」,不再只管「答」

10 月 27 日蚂蚁发布灵光 2.0。三件事:跨会话记忆、长程任务调度、独立云主机——退出对话后任务继续跑,状态变了能接着跟进。工具侧打通支付宝的账单、会员、出行,外部接入钉钉、飞书、邮箱、米家,支持 MCP 与 CLI。安全侧接入蚂蚁 APASS,把身份认证和意图安全放进执行流程,授权密钥与 agent 分离托管,用户可随时撤销。灵光 App 2025 年 11 月 18 日上线,6 天下载破 200 万。

值得关注的原因:个人 agent 的门槛不是会不会用工具,是「它在你不在的时候做了什么」。这需要常驻进程、状态存储、可撤销的授权,缺一件就退化成聊天框。把密钥托管从 agent 里拆出来是好方向:agent 拿不到长期凭据,只拿一次性执行许可。边界也清楚,能管的事都在支付宝和几家已接入的服务里。

顺带一提

  • 科大讯飞发布语音基座 SparkAudio 1.0,用 SemiEnc、S-S2S、CoDec 分别处理表征、时延与算力开销;同传 MOS 从 4.4 提到 4.6,配套 35 克录音环 2 小时录音约 10 秒传完。
  • 特斯拉三季度财报确认 Optimus 已在弗里蒙特产线启动生产,首批符合量产标准的机器人下线;马斯克说周产两万台还要一年以上,2027 年底才对外供货。

参考资料

  • Google DeepMind:Genie 4: A new generation of world simulation,2026-10-27
  • 凤凰网科技(TechCrunch 编译):谷歌发布新世界模型 Genie 4,2026-10-28
  • AICoder、CellCog:Cursor Agent SDK 拆解与 npm 版本时间线,2026-10-26
  • 新浪财经:致中国智能机器人首批「阵亡者」,2026-10-28
  • 21 世纪经济报道:具身智能的超级共识撞上工程现实,2026-10-28
  • 央广网、科技日报:蚂蚁灵光 2.0 发布,2026-10-27
  • 腾讯新闻:即梦推出「短剧工作室」,2026-10-27
  • 上海证券报:物理 AI 迎落地拐点,2026-10-28
打开原图 ↗