OpenClaw 做回放时，很多团队只关心最后一次结果有没有通过。这个判断太粗了。同一条任务在旧模型上通过，在新模型上可能变得更啰嗦；旧提示词能正确转人工，新提示词可能会继续自动处理；知识库更新后，答案也可能引用到另一条资料。
回放对照要和 真实失败样本评测集、质量门禁、人工复核抽检 一起使用。它的目标不是证明某次运行成功，而是看规则、资料和模型变化以后，结果有没有出现漂移。
先固定同一批样本
对照的前提是样本稳定。每次改模型、改提示词、改知识库或改工具配置前，都要用同一批代表性任务回放：成功样本、失败样本、边界样本、高风险样本和客户可见样本都要有。
如果每次都换样本，就很难判断变化来自系统改动，还是来自任务本身不同。样本固定，变化才有比较意义。
对照字段要拆细
不要只记录“通过”或“不通过”。至少要对照输出结论、引用资料、工具参数、错误处理、是否转人工、格式是否合规、耗时和成本。不同字段能暴露不同问题。
比如结论没变，但引用资料从新版文档变成旧版文档，这就是证据风险；工具参数多传了一个字段，可能是提示词变化引起的执行风险。
漂移不一定都是坏事
有些漂移是改进。新版本能更早发现低置信度、能更准确引用资料、能减少无效重试，这些都值得保留。但有些漂移是退化，比如原来会暂停的任务变成自动放行，原来会追问的任务变成直接给结论。
所以回放对照要写清判定标准。什么变化可以接受，什么变化必须阻断上线，什么变化需要人工复核，都应该提前写进质量门禁。
上线前看高风险差异
每次版本更新前，负责人不必逐条读完所有回放结果，但必须看高风险差异：客户可见回复变化、权限动作变化、转人工策略变化、引用来源变化和成本异常变化。
这些差异可以接入 变更后验证清单。只有关键差异被解释清楚，版本才适合进入生产。
总结
OpenClaw 回放对照的价值，是让团队看见同一任务在不同版本下的变化。不要只看最后一次结果是否通过，还要看证据、工具、转人工和成本有没有漂移。能看见漂移，才能稳妥迭代。
