别再盲飞:Anthropic 的 Agent 评估方法论,与它没说的那一半
Anthropic 工程博客 2026 年 1 月发布《Demystifying evals for AI agents》,把「怎么知道 agent 到底行不行」拆成可执行的工程流程:task/trial/transcript/outcome/grader/harness 八个词的定义、三类评分器的分层组合、能力评估与回归评估的分工、pass@k 与 pass^k 的区别。本文做完整解读,并补上社区的四盆冷水(基准数据污染、统计功效不足、harness 自身失控、只做离线不做线上),以及四类真实业务场景(知识库研究、客服对话、编码、无人值守自动化)的落地做法。