AI Agent 上线验收不能只问一句“测试通过了吗”。Agent 会调用工具、读取知识库、触发审批、写入外部系统,任何一个环节变化,都可能把风险带到生产环境。
比较实用的上线验收,是把评测结果、权限变更、连接器状态、敏感动作审批、回滚演练和监控指标放进同一张清单。它承接 灰度发布、评测集 和 回滚预案,不是临上线前随手看一眼。
先看评测有没有退步
上线前要跑核心评测集,尤其是真实失败样本和高风险场景。不要只看总分,要看退步样本集中在哪里:是知识库引用退步,还是工具顺序退步,还是拒答边界变松了。
如果退步样本刚好影响客户可见流程、费用、权限或外部写入,就不应该直接上线。分数好看但关键样本失败,风险仍然很高。
权限变更要单独确认
很多上线事故不是模型变笨,而是权限范围扩大了。新增连接器、开放写权限、放开批量导出、增加外发动作,都应该在验收清单里单独列出来。
这一步可以对照 权限矩阵 和 连接器清单。如果权限变化说不清楚,说明还没到可以放量的时候。
敏感动作要跑一遍审批
涉及付款、删除、外发、客户承诺和批量修改的动作,上线前要真实跑一遍审批链路。重点不是看按钮能不能点,而是看拦截条件、审批人、超时处理和日志记录是否完整。
这和 敏感动作审批 是同一个逻辑。Agent 可以先准备动作,但关键动作必须有清楚的二次确认。
回滚演练别省掉
上线验收里最容易被省掉的是回滚演练。团队常常觉得“有预案就行”,但真正出事时才发现版本找不到、任务停不下来、数据恢复字段不够。
回滚演练不需要每次都做得很重,但至少要确认旧版本可用、自动任务可暂停、关键数据能恢复、通知路径能打通。没有退路的上线,本质上是在赌。
总结
用 AI Agent 做上线验收,重点不是让 Agent 替人盖章,而是把评测、权限、连接器、审批、回滚和监控放到同一张风险清单里。上线前多看一轮,生产里就少一次临场补救。