AI Agent 进入企业流程以后,安全讨论正在从“模型会不会说错”扩展到“整个系统会不会失控”。模型只是其中一层,工具权限、外部数据、供应链、日志审计、人工接管和责任边界,都会影响最终风险。
这个变化可以从两个公开框架里看出来。NIST 在 2024 年发布的 AI RMF 生成式 AI Profile,把生成式 AI 风险放到治理、映射、测量和管理框架里看。OWASP 的 LLM Top 10 则把提示词注入、不安全输出、敏感信息泄露、供应链和过度代理等风险列为重点。
事实梳理
NIST AI RMF 不是某个产品清单,而是一套风险管理框架。它提醒组织识别生成式 AI 的特有风险,并把风险处理和自身目标、场景、治理能力结合起来。换句话说,同一个 Agent,在内部知识检索和外部客户承诺场景里的风险等级并不一样。
OWASP LLM Top 10 更贴近应用安全。它明确提醒,LLM 应用的风险不止提示词注入,还包括输出未经验证就进入下游系统、敏感信息暴露、供应链问题、过度权限和不安全插件。这些点对 Agent 尤其重要,因为 Agent 会调用工具、读取数据、甚至执行写入动作。
影响分析
对企业来说,这意味着 Agent 上线评审不能只问“回答准确率多少”。还要问:它能访问哪些系统,能不能写入,是否有最小权限,工具返回是否校验,日志能不能复盘,失败后谁接管,供应链组件是否可追踪。
本站最近连续写了 红队测试、敏感动作审批、上线验收,本质上都是把这些框架里的风险落到日常流程里。
老达点评
我觉得普通团队最容易犯的错,是把 AI 风险框架看成大公司合规材料。其实它们更像一张提醒表:你有没有把工具权限写清楚,有没有把外部写入加审批,有没有保留证据,有没有把失败样本沉淀下来。
如果团队现在还小,不需要一上来写厚厚的制度。可以先从 权限矩阵、审计日志字段、评测集 三件事做起。等这些基础材料有了,再谈更完整的治理框架才不空。
总结
NIST 和 OWASP 这些 AI 风险框架给 Agent 落地传递了一个清楚信号:安全不是只看模型,而是要看工具、数据、权限、供应链和运行流程。Agent 越接近生产,风险管理越要系统化。