导言
评测分数本该是能力的代理，可一旦它变成被优化的目标，代理与真相之间的缝隙就开始被填满——刷榜、过拟合、数据污染，Goodhart 定律在 AI 评测里反复回声。这本书要追问的不是"哪个模型得分更高"，而是分数失真之后，我们还能凭什么判断一个系统真的有用：当排行榜不再可信，能力信号该去哪里找、又该如何读。对每天靠基准选型、对外引用跑分、对内定义验收标准的产品经理和工程师来说，这是绕不开的一课——它逼你把"分数"和"能力"重新拆开看，承认你信赖的那个数字，可能恰恰因为被太多人盯着而失去了意义。
划线 · 21 条
一个真正合格的 AI 北极星指标，长得不像仪表盘，而像一次评测。
防御办法是几样配合：护栏指标作为不可逾越的边界、永不用于调参的留出集、以及定期轮换/更新的评测集。
”信任或上交”（trust-or-escalate）这类机制
轨迹/过程评测问的是路走得对不对——工具选得对不对、参数填得对不对、调用顺序和依赖对不对。
同一任务独立重复 k 次、k 次全部成功的比率
Ramp（一家做企业支出管理的公司）对其智能体的做法：先让智能体在”影子模式”下对真实交易运行——智能体预测它会怎么做，再由一个独立的 LLM judge 把这个预测和人类实际怎么做做对比；只有当影子模式下的准确率达到某个阈值，才放开让它执行真实
隐式信号：重生成率（用户点了”重新生成”说明上一次不满意）、点赞/点踩、对 AI 输出的编辑距离（用户改了多少）、复制/采纳率、放弃率、上交人工率、延迟、单位成本。
用 LLM 模拟用户来做智能体在线评测，到底可不可靠——已有 2026 年的工作（标题大意”迷失在模拟中”）指出，LLM 模拟的用户是真实用户的不可靠代理。
模型与 judge 分歧最大、且最可能改变发布决策”的样本上
主动学习（active learning）
主力是 CUPED（Controlled-experiment Using Pre-Experiment Data，利用实验前数据降低方差的受控实验方法；Deng 等人 2013 年提出）——用与结果相关的实验前协变量做控制变量，在不引入偏差的前提下收紧置信区间。
位置偏置——judge 系统性偏好排在前面的回答，偏好率约 60%；把两个相同回答交换位置，约 40% 的判断会翻转。冗长偏置——更长的回答不论质量更容易得高分。自我偏好——模型倾向于偏爱自己生成的输出。还有从众偏置（bandwagon）。综合起来，部分审计场景里 judge 的错误率甚至超过 50%。
把心理测量学里的 IRT（Item Response Theory，项目反应理论，原本用于分析考试题目难度与作答者能力）搬到 judge 上，把可靠性看作”测量仪器的属性”，而不只是”被测对象的属性”。
怎么建：从生产日志采样，覆盖高频主路径，再刻意补上关键的长尾场景和容易出错的切片（slice，按某种属性划分的子集，比如某类用户、某种语言、某个棘手意图）。
OpenAI 在 HealthBench（其 2025 年发布的医疗对话评测）里采用的”实例级评分标准”思路——它不再用一套统一 rubric（评分量规）套全数据集，而是为每个实例单独定义评分标准，相当于把”指标定义”本身做得极其精细，这条路线对”如何把模糊质量翻译成可测代理”有直接启发。
公开基准测的是通用能力，不是你产品的质量。
满意度上升，可能是因为 AI 还新鲜（这就是后面会反复出现的”新奇效应”）
第一次清晰地把”为概率系统设计度量”和”为确定系统设计度量”区分开
成本—保真度—速度三角，目前还只是定性直觉，能否被形式化成一个可计算的权衡？
你心里想测的那个抽象品质叫”构念”，你实际能测到的那个数叫”代理”，指标设计就是构造一个尽量贴近构念的代理。
产品经理是那个拥有决策的人：要不要发布、发布的质量门设在哪、什么样的退化可以接受、什么样的指标算”变好了”。