OpenClaw 里很多变更不是改完配置就结束。权限调整、分流规则、知识库版本、工具参数和队列策略都会影响 Agent 的真实行为。变更后如果只看“发布成功”,很容易漏掉权限没生效、队列没恢复、工具调用异常或业务结果变差。
变更后验证清单要接在 权限变更记录、恢复观察窗口、恢复验收记录 后面。它的目标很直接:确认改完以后,Agent 不只是能跑,而是按预期稳定运行。
先验权限和连接
第一项要看权限是否按预期生效。该开放的工具能调用,该关闭的动作不能绕过,临时授权有没有到期时间,凭证是否使用了正确身份。
连接器也要一起检查。很多变更失败不是配置本身错,而是外部系统令牌、字段权限或网络策略没有同步更新。
再验队列和分流
变更后要确认任务队列是否恢复正常:低风险任务是否自动跑,高风险任务是否进入确认,失败任务是否进入重试或暂停。这里可以参考 OpenClaw 分流规则 的做法。
如果变更影响多个队列,不要一次只看总成功率。要按队列、客户、工具和任务类型拆开,避免平均值掩盖局部异常。
样本回放要覆盖边界
变更验证不能只跑几个顺利样本。至少要覆盖成功样本、失败样本、权限不足样本、需要人工确认样本和高风险工具样本。这样才能看出 Agent 是否仍然遵守原来的边界。
样本回放可以直接复用 评测样本,把新版本和旧版本的结果放在一起比较。
业务结果也要看
工具成功不等于业务成功。客服回复是否解决问题,变更通知是否发给正确对象,知识库回答是否引用了新版本,成本是否明显上升,都应该进入验证清单。
如果业务结果不稳,要先暂停扩大范围,而不是继续全量放开。变更后验证的价值,就是在问题扩散前给团队一个刹车点。
总结
OpenClaw 变更后验证清单要把权限、连接器、队列、分流、样本回放、异常告警、业务结果和回滚预案放在一起。改完以后能验证,Agent 运维才不会只靠发布成功截图判断稳定。