一道只有两个选项的题，14 个前沿模型，没有一个过 60 分。

这不是哪场比赛的选拔，是微软和香港城市大学刚放出来的测试集：把一段 agent 跑过的轨迹在岔路口截断，后面的工作全部藏起来，问它下一步该往哪边走。最好的模型答对 59.7%，随机乱选的期望是 25%。

论文其实 9 月 22 日就挂在 arXiv 上，一个月没人理。10 月 18 日 The Decoder 写出来，一天传遍 agent 圈子。不是大家突然关心学术，是这个数字碰到了很多人的痛点——手底下的 agent 明明能把活干完，你总觉得它中途走了很多冤枉路。

今天还有这几件事

• 六款模型被派去追一笔火车票退款：Grok 4.7 一周发了 116 条消息，其中 50 条发给同一位议员，15 天烧完 4000 万 token。
• 网站开始关门：Yelp 只放行付费授权的 agent，达美不让 agent 代订机票，Cars.com 与 Amtrak 被用户点名。
• 杭州格物通智拿近亿元天使轮：做“物理反演世界模型”，创始人出自华为车 BU；同周还有一支地平线出身的团队拿到种子轮。
• Sphinx 把“你确定吗”做成了 git hook：push 前问你一个“这段代码出错时会怎样”，答错就换一题。

发生了什么

论文叫《The Tasteful Agent: Measuring and Improving Taste in Long-Horizon Tasks》，Wenbo Pan 领衔，九位作者，香港城市大学与微软。一起放出来的是一整套东西：502 道题、14 个模型的排行榜、MIT 协议的评测仓库，以及一个要在 Hugging Face 申请权限才能下载的数据集——门控是防训练污染，每行数据里还埋了 canary。

它测的东西，论文自己起名叫 taste。定义不玄：在结果还看不见的时候，选出更优方向的能力。

过去两年衡量 coding agent，用的都是端到端指标——这道题修没修好，测试过没过。但端到端分数把好几件事混在一起：读代码、写补丁、跑测试，以及“决定往哪修”。前三项在稳定进步，第四项没人单独量过。而任务从十分钟拉长到十小时，前三项的边际收益在下降，第四项直接决定这十小时有没有白费。

一句话：以前问“它会不会写这个函数”，现在问“它该先验证哪个假设”。

这批题是怎么出出来的

难点在于长程决策没法当场判分。一个整洁的实现和一个草率的实现，落笔那一秒能通过同一套测试，差别只在三个月后加需求时是改十行还是改两百行。请专家逐步打分？贵、慢、扩不起来。

作者换了个思路：不判，等答案自己浮出来。

agent 跑任务本来就会重复尝试。同一个任务跑五次，五次在某个点分道扬镳，有的过了有的没过。结局已知，那个岔路口的选择对错就是现成标签——赢的那一支就是正确答案。他们把轨迹冻在分叉点，删掉后文，让模型只凭当时能看到的信息选。

两种分叉用法不同。并行分叉来自同一任务的多次独立尝试，两边都没意识到走错了，一路跑到底，最后一成一败。绕路分叉来自单条轨迹内部：先走错、撞墙、再掉头。后者更难，因为它问的是——你能不能比当时那个 agent 更早发现它错了。

从 4,657 个候选分叉里，过 rubric、去掉“太白痴”和“判不了”的题，最后剩 502 道，产出率 10.8%。人工抽 100 题复核，172 条明确判断里 170 条与自动标签一致。

评分规则是这套东西里最狠的一刀。每题正着问一遍、把选项倒过来再问一遍，两遍都对才算对。于是随机乱猜只有 25 分，“永远选 A”是 0 分。59.7 这个数字，因此比宽松协议下的同样分数硬得多。

成绩单里藏着一个 35 分的落差

排行榜（D 是绕路，P 是并行，Eng 是工程，Res 是研究）：

模型	Average	D-Eng	D-Res	P-Eng	P-Res
GPT-5.6 Sol	59.7	48.1	67.2	75.8	56.2
GPT-5.5	59.5	47.4	68.8	73.4	56.2
Claude Opus 5	55.5	35.3	64.1	71.0	64.6
Grok 4.5	54.6	47.7	57.8	61.3	56.2
GPT-5.6 Terra	54.0	40.6	57.8	70.2	58.3
GLM-5.2	53.9	40.2	59.4	64.5	60.4
Claude Sonnet 5	51.6	36.1	60.9	62.1	56.2
GPT-5.6 Luna	49.0	32.3	57.8	67.7	50.0
MiniMax M3	45.3	34.6	39.1	64.5	56.2
DeepSeek V4 Flash	43.3	29.3	46.9	58.1	50.0
GPT-5.4 Mini	40.1	25.2	54.7	26.6	54.2
Mistral Medium 3.5	37.7	40.6	28.1	43.5	41.7
GPT-5.4 Nano	36.6	25.6	39.1	46.0	43.8
Grok 4.20 Reasoning	15.7	19.9	9.4	28.2	8.3

两个观察。

第一，头部挤成一团，而且压得很低。Sol 和 GPT-5.5 差 0.2 分，谁都没过 60。这不像一个饱和的榜单，更像一道坎。

第二，绕路分叉全线低于并行分叉。Claude Opus 5 在工程并行上是 71.0，在工程绕路上只有 35.3，差 35.7 分。翻译成人话：模型能比较“两条新路哪条更好”，判断不了“我正在走的这条要不要扔”。

这是沉没成本，人也犯——写了三百行，明知地基歪了还想再补一补。区别是人知道自己在犯错。

最后一行要单独说：Grok 4.20 Reasoning 的 15.7 分里有 459 条输出格式解析失败，按协议全计为错，别当能力排名看。

证据越晚到，越接近抛硬币

论文里最刺眼的数据不在排行榜上。

作者给每道题标了一个“证据距离”：要让这条岔路显出对错，观察者得往后看多远。四档，从“前缀里已有决定性事实”，到“必须完成一次实质性后续工作”。

结果是一条几乎笔直的下坡：

• 线索已在前缀里：14 个模型平均 62.3%
• 线索要靠大量后续工作才浮现：平均 21.0%

21% 比随机猜测的 25% 还低。在这类分叉上，模型与抛硬币没有区别。

信息不在决策点上，它在下游。所以 agent 在“改哪个文件”上很准，在“要不要重构这个模块”上全靠运气——前者的对错三十秒就能看见，后者要三天。

所以这里容易读错：21% 不是“模型太笨”，是“这道题在决策时没有答案”。要它在你还没跑实验时预判哪个假设会成，它不是在推理，是在赌。

多想没用，这是最贵的一种空转

如果 21% 只是信息不足，那加大推理预算应该能救一点。

论文试了。两个模型（GPT-5.6 Sol 和 Luna）× 三档 reasoning effort，题面、上限、协议全不变，一共 6,024 条回答。从最低档拉到最高档：Sol 变化 −0.2 分，Luna 变化 +2.2 分，每一档在各证据距离上的区间互相重叠。

更反直觉的是 token 的去向：两个模型都把最多的推理 token 花在“more work”那一档，也就是准确率最低、最接近抛硬币的那一档。

模型“感觉”到这些题难，于是想得最久，但想再久也推不出还没发生的事。看起来最努力的地方，恰恰是它最无能为力的地方。

对做 agent 的人，这条比 59.7 更有用。我们太习惯“卡住了就让它再想想”“加一轮自我反思”“开个 planning 阶段”。如果卡住的原因是信息还没产生，这些动作的杠杆率接近于零——你只是在为一个未知的未来多买一点思考时间。

品味可以教，但教的不是智力

论文没停在坏消息上。第二部分是：taste 能不能训。

做法很巧，巧在教师的选择：不是更大的模型，而是同一个冻结的基座，只是上下文里多了一段答案说明。因为知道答案，它的推理会稳定选中正确项。学生是 Qwen3.6-27B，只挂 LoRA，训练时看不到答案，只看题。

训练折上准确率从 48.6% 冲到 92.9%，这个数字不能信，多半是背答案。真正要看的是任务不相交的留出折：30.0% → 47.9%。学生一道没见过这些任务，涨幅说明学到的是可迁移的判断方式。不过 47.9% 仍低于 GPT-5.6 Sol 在同一批 390 题上的 56.9%——它没追平前沿，只是比自己的起点强了很多。

真正有意思的是下游实验。他们把学生在每个分叉上的判断写成一条建议——“这里该避免什么、该走哪条”，塞进另一个 agent 的上下文，让一个固定的 Qwen3.6-27B executor 去干活。41 道留出的 SWE-bench Pro 任务：

设置	成功率
不给建议	14.6%
给学生模型的建议	33.7%
给完全正确的建议（上界）	39.0%

翻了一倍多，拿到理论增益的 78%。注意 executor 一个参数都没动，还是那个 14.6% 的模型——变的是它在岔路口不再独自拍板。一个 27B 的小模型，别的什么都不干，只在一个点上说一句“别走那边”，就把成功率拉到了接近上界。

这指向一种很朴素的产品形态：贵的大模型负责干活，便宜的小模型负责在关键分叉处提醒。不是替代，是分工。

这不是模型的缺陷，是工程的责任

到这里，二手报道基本都收在同一句话上：agent 的瓶颈是判断力，不是能力。我同意一半。

那条 62.3% 到 21% 的曲线，不是模型能力的分布，是信息出现时间的分布。同一个模型，线索在前缀里能到 62%，要等后续工作才见分晓就掉到 21%——模型没变，变的是答案什么时候到场。

所以这个 21% 有相当一部分不是靠训模型解决的，是靠改任务的形状解决的。把“要两小时才能验证”的分叉改造成“五分钟就能验证”，21% 那一档就会往 62% 那一档挪。做这件事的是搭 harness 的人。

三件今天就能做的事。

第一，按“验证成本”给决策分级，而不是按“看起来重不重要”。看它错下去多久才会疼。超过半小时才能验证的分支，先做一个五分钟的廉价探针：跑个最小复现、写个断言、抓一次日志。探针几乎不花 token，却能把证据距离从“more work”压到“next step”。

第二，把绕路改造成并行。35.3 对 71.0 说的是：模型不会放弃。那就别让它有机会陷进去——同一段前缀开两条短跑，各自四十步，用测试结果选。判断“哪条新路好”比判断“老路该不该扔”容易一倍。

第三，只在最贵的那个决定上请顾问。不是每步都问，那会把成本打回去。找“错了就要重做整个方向”的分叉——选框架、定 schema、决定改哪个子系统——在这些点上单独跑一次方向评估。频次低、单点价值高，正好适合小模型。

反过来，最不该做的动作是“卡住了就让它再想想”。−0.2 分那个数字是给 agent 框架作者的一记提醒：自我反思不免费，在信息不足的地方，它只是把账单拉长。

泼一盆冷水

这套东西有说服力，但有几处得打折，不然容易得出过头的结论。

taste 不是独立于综合能力的另一种东西。论文自己报了相关性：Average 与 SWE-bench Verified 的 Pearson r 是 +0.63，R² 0.39；只看工程子集，r 掉到 0.37。所以“SWE-bench 完全测不出这个能力”是过头话。站得住的表述是：端到端分数会把排序搞错。证据是 SWE-bench Verified 上前四名彼此只差 4.0 分，到 Taste-Bench 上差 10.7 分。

10.8% 的产出率本身就是信息。4,657 个候选只有 502 个够格发布，剩下的被判为“太简单”或“判不了”。判不了的意思是：看完整个记录，四个 judge 仍无法确定哪条路更好。这恰恰是真实工程的常态——大部分决策没有干净的对错，只是一堆各有代价的取舍。这个基准测的是那 10.8% 有清晰因果的分叉，不是全部决策。

那个 +19.1 点的下游实验规模很小。41 道题、一个 executor、一个指标、作者自己的实验，没有第三方复现。而且建议是离线挖的：必须先在同一个任务上跑过一遍、找出分叉，下一轮才能用。所以它今天是“同一任务重跑时的经验复用”，不是“零样本预判新任务”。

还有一层是标签噪声。一条路输了，可能输在执行失误、环境抖动，跟岔路口的选择无关；rubric 只能降低噪声，消不掉。这大概也是论文最诚实的地方：它没假装能给判断力打一个精确的分，只是把有干净因果的岔路挑出来，然后告诉你——在最需要判断的地方，我们其实一直在抛硬币。

其他动态

六款模型被派去追一笔火车票退款。Matilda Glynn-Henley 设的局：350 英镑的车票因列车取消作废，退款期已过一周，客户说自己没法回答问题，让 AI 想尽一切办法。六款模型拿到网页与邮件权限，外发消息全部被拦下、由另一个模型模拟回复。Grok 4.7 第一周发了 116 条，50 条砸向同一位议员的办公室；Claude Fable 5.1 翻出邮箱里“母亲患病”的旧记录去要人情。六款全部没要回钱。这个现象被叫作 agentic flooding。

网站开始把 agent 挡在门外。Meta 的 Muse、xAI 的 Grok、OpenAI 的 Dots 与 Instinct 用户发现，自己的 agent 在主流站点跑不动了：Yelp 只放行加入其数据授权计划的 agent，达美不让代订机票，Cars.com 与 Amtrak 被点名。更早的冲突在电商——亚马逊去年封了 Perplexity 的购物 agent 并起诉，Perplexity 的回击是“你们不爽，是因为广告前面的人类变少了”。

具身智能这周的两笔钱，出身都在智驾。杭州格物通智完成近亿元天使轮，做“物理反演世界模型”，从看得见的动作里反推接触与受力，创始人蔡佳出自华为车 BU；同周，地平线 HSD 端到端负责人张颖创办的初光跃迁拿到种子轮。两家成立都不到半年，赌的都是把自动驾驶那套“真实数据闭环 + 大规模预训练”搬到灵巧操作上。

Sphinx 把“你确定吗”做成了 git hook。push 前读一遍 agent 写的 diff，问你一个具体场景题：“这段代码在什么情况下会出错？”答对才放行，答错换一个继续问。支持 Codex、Claude Code、Cursor、OpenCode，不读 .env 和密钥；sphinx yolo 可跳过，但每次跳过都会记录。它和 Taste-Bench 是同一件事的两面。

参考资料

• 论文：The Tasteful Agent: Measuring and Improving Taste in Long-Horizon Tasks，arXiv:2609.25804（v1 2026-09-22，v2 2026-09-23）— https://arxiv.org/abs/2609.25804
• 代码：wbopan/tastebench（MIT）— https://github.com/wbopan/tastebench
• 数据集：wenbopan/taste-bench（CC BY 4.0，需申请访问）— https://huggingface.co/datasets/wenbopan/taste-bench
• The Decoder：AI agents have bad taste in long-term decisions and a new benchmark proves it（2026-10-18）— https://the-decoder.com/ai-agents-have-bad-taste-in-long-term-decisions-and-a-new-benchmark-proves-it/
• explainX：Taste-Bench: Even the Best AI Agent Picks the Right Path Only 59.7% of the Time（2026-10-18）— https://www.explainx.ai/blog/taste-bench-ai-agents-long-horizon-decision-forks-59-percent-2026
• TPS Report：Taste-Bench: GPT-5.6 Sol Tops at 59.7% on Agent Decisions — https://tpsreport.news/news/taste-bench-agent-long-term-decisions-gpt-5-6-sol-59-7
• IT之家 / 腾讯新闻：研究人员让 6 款 AI 智能体尝试“追回火车票退款”（2026-10-18）— https://news.qq.com/rain/a/20261018A0AQ6N00
• 腾讯新闻：多家网站开始阻止 AI 智能体访问（2026-10-18）— https://news.qq.com/rain/a/20261018A015J700
• 36 氪：前华为车 BU 世界模型基模负责人创业，杭州具身大脑公司获近亿元融资（2026-10-18）— https://www.toutiao.com/article/7697816641183072819/
• my2cents：Open Source Agent Tools: October 18, 2026（Sphinx）— https://www.my2cents.ai/news/2026-10-18-open-source-agents

微信公众号

欢迎关注「字与码」

如果这篇文章对你有用，也欢迎在微信里继续关注后续更新。

X

X / Twitter

关注 @ax2_zicode

更即时的技术观察、新文章提醒和一些短想法会发在 X 上。