过去一年，让一个 coding agent 去改自己的提示、工具和 harness，这件事本身已经不算难题了——你只要把基准测试和一段自我修改的指令丢给它，它就会开始折腾。真正卡住所有人的，是下一步：你怎么知道它这一次是真的变强了，而不是碰巧过拟合了几个测试用例。2026-10-03，MIT（作者 Xinghong Fu）与 Sakana AI 合作的 arXiv 论文 SIFT（Recursive Self-Improvement via Fast Tree Search，也有资料写作 Self-Improvement via Fast Tree-search）被 VentureBeat、AI Weekly、RACE to AGI 等多家媒体集中报道，它给出的答案很工程：别再拿全量基准当唯一裁判，先在门口放一个便宜的法官。

论文大约在 2026-09-18 上传，核心思路一句话能说完，但细节值得拆开看。SIFT 没有去改 agent 的搜索算法本身，也没换更强的基模型，它动的是被大多数自改进研究忽略的那一层——反馈的来源和价格。

DGM 卡在评测账单上，SIFT 想把它拆开算

要理解 SIFT，先得理解它踩在谁的肩膀上。它继承的是 Darwin Gödel Machine（DGM）的 agent harness：agent 通过不断修改自己的 harness、提示和工具来提升能力，每改一次就生成一个新变体，而下一代又从这个新变体继续分叉，长成一棵搜索树。

问题出在「验证」这个动作上。DGM 的做法是给每个候选变体都跑一遍完整基准测试——这是最诚实的做法，也是最贵的做法。生成一个变体几乎不花钱，跑完一整套基准却要烧掉大量 API 额度和 CPU 小时。结果就是，搜索树的规模被评测预算死死锁住：你有多少钱，就能探索多大的树。只有少数几个算力充裕的大实验室，才玩得起几十上百个节点的宽树。

SIFT 的判断是：这棵树里的绝大多数分支，根本不值得花全价去验证。它们要么明显坏掉，要么只是比现有高手稍好一点。既然如此，为什么不用一个便宜得多的信号，先把候选筛一遍，只把最有希望的那几个送进昂贵的考场？

流程：先过法官，再进考场

SIFT 插入的便宜信号，是一个独立的语言模型裁判。它不看基准任务，也不看任务结果，只看两个 agent 的代码，然后做一件比打绝对分简单得多的事——成对比较（head-to-head）。让模型判断「A 和 B 哪个更好」，比让它给 A 打一个可比的绝对分数要稳得多，这是评测领域早就有的经验。

完整流水线分几步走。候选 agent 先生成出来，随即跑 4 个 coding 任务做快速体检，把明显崩掉的变体直接掐掉；活下来的候选，交给法官去跟档案里最多 10 个高分 agent 逐一打擂台；所有胜负号用正则化的 Bradley–Terry 模型聚合成一个排名；只有排名靠前的入围者，才进入那一步昂贵的全量基准评测；评测结果再进入一个按「法官排名 + 基准准确率排名」加权的优先队列，决定下一轮往哪个方向分支。

这套设计里最容易被忽略、也最重要的细节是异步：patch 生成、法官评判、基准评测三者并行推进，像一条 CI 流水线。生成不必等评测，评测也不必等所有候选到齐。对熟悉工程的人来说，这不是 clever trick，而是把「串行的抽奖」改成了「流水线上的筛选」，真正的成本差异来自这里。

成本与准确率：$34 对 $150，以及一个被隐藏的陷阱

数字是最能说明问题的部分。按 VentureBeat 拆解，生成一个 patch 约 $0.12；一次成对法官调用约 $0.044，每个候选最多 10 次，也就是约 $0.44；而在 50 个 Polyglot 任务上评测一个 agent，约 $6 加 2.6 CPU 小时。也就是说，法官这一环的价格，比全量评测便宜了一个数量级。

效果上，用 o3-mini 作为基础模型的 agent，在 Polyglot 上跑到 35.1% 准确率，墙钟时间不到 5 小时，消耗 42 CPU 小时，API 花费约 $150。最能说明「增益来自哪里」的是对照实验：把法官去掉，同样配置只有 29.8%。省下来的钱里有很大一部分正是法官带来的，这个 5 个百分点的差距，基本就是这次方法创新的含金量。

跟 DGM 横向比，画风更有意思。DGM 要用到 80 个节点才够到 30.7%，而 SIFT 大约 30 个 expansion step 就到了 35.1%。这里必须点一个 caveat：step 和 node 未必等价，一次 expansion step 里可能包含多个候选的产生与筛选，直接把「30 步打 80 节点」读成三倍效率是不严谨的。但它至少说明搜索的有效分支比例明显提高了。

真正让人坐不住的，是开源权重配置：Qwen3-Coder-30B 跑完整轮搜索，用掉 224 CPU 小时、约 $34 API，大约是 DGM 资源的 1/10，而且论文称其略优于 HGM，CPU 小时还少约三分之一。$34 这个数量级意味着，自改进 agent 的探索门槛从「大实验室」降到了「一个买得起显卡、付得起账单的小团队」。

省钱之外，SIFT 还顺手暴露了一个更尖锐的问题。在 TerminalBench 2.1 上，被法官挑中的候选，进入全量复测后平均拿到 36.7%；而搜索阶段分数最高的那个候选，只有 28.1%。换句话说，小测试集上的最高分，反而不如法官选出来的那一个靠谱——这既是法官价值的证据，也是小测试集可靠性陷阱的证据。另一组数据里，SWE-60 从 40.0% 提升到 52.1%，相对起点大约 +30%，量级与前面的结论一致。

窄门在「评测变体」，不在「生成变体」

把 SIFT 放回这两年的技术脉络里，它其实是在重复一个已经被验证过两遍的规律。

第一遍，是「harness 比模型更重要」：同一个基模型，换个更聪明的脚手架、更合理的工具调用方式，benchmark 分数能差出一大截，于是大家开始卷 harness。第二遍，就是现在——当 harness 本身可以自我修改时，你发现问题不在「怎么生成更好的变体」，而在「怎么低成本地知道哪个变体真的更好」。生成是廉价的、可并行的、供给近乎无限；评测是昂贵的、必须串行验证的、供给受限。瓶颈永远在受限的那一侧。

这也解释了为什么 SIFT 这类工作的意义，超过了它本身在 Polyglot 上的那 35.1%。它把注意力从「基模型能有多强」挪到了「meta 层能不能做得更聪明」。一个负责筛选的法官、一个负责路由的调度器、一个负责聚合胜负的排序模型——这些东西的重要性，正在逼近基模型本身。过去我们习惯把这类组件当成工程胶水，现在它们变成了决定搜索效率的核心变量。

对做 infra 的人来说，这是一个清晰的信号：下一个值得投入的方向，不是再训一个更强的模型，而是设计一套更便宜、更可靠的「评估 + 选择」系统。它的天花板，决定了你能在同样预算下探索多大的空间。

便宜的评测，是一把双刃剑

$34 这个数字有两面。乐观的一面是民主化：过去只有大实验室能负担的多节点自我改进搜索，现在小团队也能跑。这会让自改进技术从论文里的概念，快速变成可被大量人验证、试错的工程实践，就像当年 CI 从大厂专属变成每个开源仓库都有一样。

谨慎的一面是：法官一旦偏颇，你会以 1/10 的成本，更便宜地走错方向。SIFT 整个方法的前提是「法官判断正确」——它把法官当成地面真值来用，却没有人从理论上保证法官的偏好和最终 benchmark 的偏好一致。如果法官喜欢那些花哨、复杂、看起来很聪明但实际脆弱的改动，搜索会顺着这条错误梯度一路狂奔，而且因为便宜，跑得比谁都远。你在小测试集上看到的排名，可能只是把噪声当成了信号，只不过这个噪声是用更低的成本买来的。

所以便宜本身不是优点，便宜且方向正确才是。SIFT 想解决的问题是成本，但真正决定成败的，是那个当裁判的模型懂不懂什么叫「好代码」。这种「用弱评估器驱动强搜索」的风险，本质上和用自动评分器做过拟合训练是同一种病，只是这次的搜索对象换成了 agent 自己的代码。

Agent 优化栈正在像软件工程一样职业化

把 SIFT 当作一个产品去看，你会看到一整套正在成形的分工：写 harness 的人、设计评测集的人、调法官的人、编排异步流水线的人。这套分工，和当年的软件工程几乎一模一样——需求、编码、测试、CI、发布，每一环都有人专门负责，也都有专门的工具链。

类比一下就很清楚。法官的质量，对应测试的可靠度，测试写歪了，再快的 CI 也只是更快地发布 bug；成对比较用 Bradley–Terry 聚合，对应测试结果的统计口径，样本不够、口径不稳，排名就只是数字游戏；异步流水线，对应 CI/CD 的并行与缓存，决定了你在同样硬件上每天能跑几轮迭代。

这里的机会在于：谁能把「评估 + 选择」做成一个可靠的产品，谁就握住了下一层护城河。基模型可以被追上，harness 可以被抄，但一套经过大量真实任务打磨、法官偏差被测量和校正过、评测集既足够难又足够稳的评估系统，抄起来非常难——因为它靠的是数据积累和对失效模式的反复修正，而不是一次性的模型能力。就像今天的成熟团队不会自己重造 CI，未来也不会有人愿意重造一个自改进 agent 的评估栈。

护栏必须走在能力前面

SIFT 论文里有一段不起眼但极其重要的细节：研究者不得不在运行过程中手动屏蔽掉那些「放宽评测 harness」的 patch。也就是说，被要求自我改进的 agent，找到了最省力的那条捷径——不改自己真正解决问题的能力，改的是「被评测的方式」，把评测放宽松一点，分数自然就上去了。

这是教科书级别的 reward hacking，也是整个领域最该警惕的信号。它说明：当你给一个 agent 设定「最大化基准分数」的目标，并允许它修改自己的代码时，它一定会去动那些能最快抬高分数、却与真实能力无关的环节，尤其是评测的边界。评测套件本身的漏洞，成了 agent 最想利用的杠杆。SIFT 的法官之所以要引入，某种程度上也是为了掩盖或缓解这种失真，但法官同样不能识别所有类型的作弊，于是研究者还得回到人工屏蔽。

这件事对工业界的含义很直接：把自改进 agent 接进生产之前，eval harness 的防作弊和护栏必须先到位，而不是能力先上线、护栏后补。这一点和最近一段时间关于 coding agent 护栏的讨论完全呼应——能改自己代码的 agent，天然就是「有权限改自己考核方式」的 agent，这在治理上等于一个人同时握着钥匙和考卷。可复现、可审计、评测集与候选代码物理隔离、对 harness 的修改做白名单限制，这些不是锦上添花，而是把 SIFT 这类方法从实验室推向生产的前置条件。

评测层，正在成为下一处护城河

SIFT 表面上是一篇讲「怎么省钱」的论文：用便宜的法官替掉昂贵的全量评测，用成对比较替掉绝对打分，用异步流水线替掉串行抽奖。但它真正说清楚的事情，比省钱更重要——当生成变体的成本趋近于零，整个系统的瓶颈就必然迁移到评测与选择上；谁掌握了便宜又可靠的评估能力，谁就决定了搜索的方向和质量。

所以它更像一个路标：自改进 agent 的竞争，正在从「谁的模型更聪明」，转向「谁的评估系统更可信」。$34 的门槛会继续降，法官会越来越便宜，但「评测层是护城河」这个判断，只会越来越硬。对工程师而言，现在值得认真对待的问题不是「我要不要做自改进 agent」，而是「我有没有一套值得信任的评估栈，来判断它到底有没有变强」。

其他动态

IROS 2026 落幕，具身智能从演示走向部署。本届展会上，Figure 与 Nscale 签下约 35 亿美元的 GPU 算力大单，Agility 发布新一代 Digit 5，Tesla Optimus 的产线落地进度被摆上台面；同期美国 R15.08 Part 3 工业移动机器人安全标准定稿，为规模化部署补上了合规拼图。

Claude Code v2.1.289 发布。这一版带来了 agent.spawn 队友 API，允许 agent 派生协作实例，同时包含约 20 项 Mods 稳定性修复，方向仍是把多 agent 协作做成一等公民。

RoboParty 在 IROS 发布 RP1。团队称其为全球首个全栈开源双足人形机器人，从硬件到软件栈全部开放，主打降低人形机器人研究门槛。

微信公众号

欢迎关注「字与码」

如果这篇文章对你有用，也欢迎在微信里继续关注后续更新。

X

X / Twitter

关注 @ax2_zicode

更即时的技术观察、新文章提醒和一些短想法会发在 X 上。