AI Agent 从演示走到生产,中间不应该只隔着一句“看起来能用”。很多事故不是模型完全不会做,而是团队没有在上线前把评估、权限、知识、监控和回滚检查清楚。结果一上线,才发现它会调用不该调用的工具、引用过期资料,或者失败后没人知道怎么停。
上线准入清单就是给 Agent 进入生产环境设一道门。它可以接上 回归评估、授权边界 和 变更窗口,把“能跑”变成“可以被管理地运行”。
先看评估样本是否覆盖关键场景
上线前至少要有一组稳定样本:正常请求、边界请求、低置信度请求、工具失败、知识冲突、高风险写入、人工拒绝。样本不需要一开始就很大,但必须覆盖最容易影响业务的场景。
如果 Agent 只是通过了几个漂亮 demo,就直接接入真实客户、真实数据和真实工具,风险会被延后到生产环境里爆出来。准入清单要明确写:哪些样本通过,哪些还没测,哪些失败允许带着限制上线。
工具权限要按动作检查
很多团队检查权限时只看“接了哪些应用”。这不够。读取文档、修改字段、发送邮件、删除资料、改权限,都是完全不同的风险。上线准入清单应该按动作列出读、写、发、删、改,并标明是否需要人工确认。
这部分可以复用 连接器权限清单。如果某个动作没有负责人、没有日志、没有回滚方式,就不应该默认进入自动执行。
知识库要确认有效期
Agent 上线时用到的知识库,至少要检查来源、更新时间、负责人和有效期。尤其是价格、合同、售后承诺、接口字段、合规口径这些内容,不能只因为曾经被整理过,就长期放在主检索范围里。
前面写过 知识更新节奏,核心就是避免过期资料继续指导自动化。上线准入不是一次性审核,而是确认当前版本的资料可以支撑当前版本的 Agent。
监控和回滚要提前写好
上线前要知道上线后看什么。成功率、人工退回、工具失败、客户反馈、成本波动、告警样本,都应该有基本阈值。更重要的是,一旦超过阈值,谁来暂停、谁来回滚、谁来通知相关团队。
如果没有回滚方案,Agent 就不算真正准备好。生产环境不是不能出错,而是要能把错误限制在可处理范围内。
总结
AI Agent 上线准入清单的价值,是把评估、权限、知识、人工确认、监控和回滚放在同一张表里。只有这些条件基本过关,Agent 才适合从演示环境进入真实生产。