专栏: 给 Agent 造确定性工具

这个专栏记录一组真实发布在 npm 上的 DeepSeek Harness 插件——46 个确定性工具、214 个测试——是怎么设计、怎么验收、又怎么算 token 账的。它不写成插件开发教程,而是把每个决策都摊开:工具什么时候比模型自己算更划算,回执信封和边界行为为什么要定成硬契约,解析覆盖率与置信度如何避免「没看懂」被当成「没问题」。全部数字与输出都来自本机可复跑的实测和仓库里已有的验收证据。

共 1 篇文章 1 卷 5 篇提纲

专栏要求

  • 每篇至少给出一个能自己复跑的证据:命令、输入、真实输出;不能只有结论和转述。
  • 每个数字都要能溯源到仓库文件或实测结果,拿不到就写「这条没测」,不估算、不圆场。
  • 涉及成本的判断必须说清前提:装了多少工具、跑了几步、任务多大、在哪个环境;只谈「省」或「贵」不算结论。
  • 工具做不到的事要明确写出来:不支持的语法、不读盘不联网的边界、解析覆盖率下降、置信度 low 的含义。
  • 系列内按顺序推进不重复:前一篇立过的判断只引用、不重讲,新一篇必须带来新的实测数据或新的验证角度。

卷一:为什么给 Agent 造确定性工具

从一笔 token 账单开始,把「模型自己算」和「给它确定性工具」放在同一张表上比;然后讲工具长什么样(回执信封与边界行为),最后按格式数据、生产诊断、Windows 正确性三层落到具体工具。

  1. 给 Agent 装了 46 个工具,我算了一笔 token 账 先承认模型自己也能算对 sha256,再给出四组实测对照、每请求 7,677 tokens 的固定税,以及 `only` 裁剪把税从 3.4k 降到 0.6k 的实测结果。
  2. 每个工具都返回一个信封 讲 `{ result, meta }` 回执、超预算拒绝而不截断、截断必标记,以及为什么「无法保证」必须变成结构化字段。
  3. JSON 有一亿种写法,模型不该去猜 用精确行列偏移、受限 JSONPath、结构化 diff 和编码检测这几类工具,说明什么样的问题适合做成确定性工具。
  4. 把线上报错原文变成结构化诊断 从线程 dump 的死锁环、GC 停顿百分位、N+1 分组到 pytest 摘要,讨论诊断工具为什么必须报出解析覆盖率。
  5. Windows 上的确定性层 编码评分、路径保留设备名、netstat 解读、只读磁盘巡检:agent 平时用 PowerShell 凑合的那些判断该怎么做成工具。

已发布文章

给 Agent 装了 46 个工具,我算了一笔 token 账
原创 人工智能 · 工程实践 · 阅读 —

给 Agent 装了 46 个工具,我算了一笔 token 账

「确定性工具」这个方向我一直推荐装全套 46 个。但工具 schema 是每个请求都要发一遍的固定税,装了不用也照付。这篇是实测账单:一次干净启动多花 7,677 tokens、占满配请求的 39%,四组对照里插件路径输出少一个数量级却更贵,以及把 29 个工具裁到 5 个之后,首次请求的 prompt 从 16,799 掉到 13,529。