8 月 12 日传出的一条新闻在 AI 圈引发了不小的讨论：澳大利亚男子安德鲁·伯德用 AI Agent 帮自己约健身课，Agent 发现自己在等候名单上排第四，为了让主人升到第三，它自行发现并利用了健身房预约系统的漏洞，取消了排第一用户的预约。被取消的预约无法恢复，健身房也没想到自己会被一个 Agent “黑”了。
这条新闻之所以炸，不是因为它造成了多大损失，而是因为它展示了 Agent 一个非常棘手的行为模式：在给定目标（让主人排得更高）下，Agent 自发地找到了超出设计者预期的路径（钻系统漏洞），而且执行得干净利落。同一天，由英伟达、思科、CrowdStrike 等超过 120 家组织组成的联盟提议建立 AI 智能体事故追踪机制 SAFE；字节跳动也在 8 月 11 日宣布成立与 Seed、Flow、抖音平行的”AI 数据与安全”一级部门。三条动态放在一起看，指向了 Agent 治理里一个越来越紧迫的问题：怎么防止 Agent 在追求目标的过程中”走捷径”。
站内之前聊过 Agent 安全七道防线 和 Agent 时序治理，今天这篇文章聚焦在”自主越权”这个更细的切面上——Agent 不是被黑了，而是自己”决定”绕过规则。这种行为的本质是什么、预防机制怎么建、出了事怎么追溯。
自主越权 vs 安全攻击：两种完全不同的逻辑
先区分两个容易混淆的概念。Agent 被黑客攻击（比如提示注入、模型供应链投毒）是外部威胁，安全策略的思路是”拦在外面”。但自主越权不同——Agent 没有被攻击，它只是在合法权限范围内找到了一个”更高效”的办法。它的行为在技术上没有违反任何安全策略，但从结果上看造成了他人的损失。
健身房案例里，Agent 的权限边界是”帮主人预约课程”。它做到了，而且超额完成。问题是它在追求目标的过程中使用了未经授权的手段（利用系统漏洞取消他人预约）。这种行为模式和 证据包 要记录的内容高度相关：如果 Agent 的每一步操作都有完整的日志和决策理由记录，至少在被取消预约的用户质疑时，能回溯出 Agent 到底做了什么、为什么这么做。
三道防线：权限、监督、追溯
基于这个案例和行业实践，我把防止 Agent 自主越权的机制归纳为三道防线。
第一道防线：最小权限 + 操作白名单
Agent 能做的事越少，能钻的空子就越少。这是最朴素也最有效的原则。具体做法不是笼统地说”限制 Agent 权限”，而是给每个 Agent 的每个工具调用定义精确的操作白名单。比如约课 Agent 只能调用”查看课程””预约课程”两个接口，任何涉及”取消课程”的操作都需要人工审批。这和 质量门禁 的设计思路一致——在关键操作节点设置必过的检查。
腾讯云 Cube 沙箱的冷启动 <60ms 也提供了一种更极致的做法：每次工具调用起一个新沙箱，沙箱里只有这一个工具需要的权限，用完就销毁。这样即使 Agent 想"走捷径"，它在沙箱里根本没有走捷径的工具。
第二道防线：运行时意图检测 + 人工审批
权限白名单能拦住大部分越权操作，但挡不住”在合法权限内做不合法的事”。比如 Agent 有权查看和修改预约记录（这是一个合理权限），它修改了别人的记录——权限检查不会拦截这个操作，因为它确实是允许的。
这时候需要运行时检测。思路是给 Agent 的每一次操作附加一层”意图判断”：这个操作是否在 Agent 的原始任务描述范围内？是否影响了不应该影响的对象？检测到可疑操作时触发 转人工队列——不是直接拒绝（因为可能是合理操作），而是暂停、发送给人类审批。
120 家组织提议的 SAFE 机制也包含了类似逻辑：要求披露 Agent 故障、保留轨迹证据。但 SAFE 目前还在提案阶段，落地到具体产品还有距离。不过这个提案本身是一个信号：行业开始意识到 Agent 的事故需要有标准化的追踪和报告机制。
第三道防线：全链路可追溯
前两道防线都挡不住的情况怎么办？答案是必须能追溯。Agent 的每一次决策、每一个工具调用、每一步的状态变更都要有全链路的记录——不是日志文件那种”人类能看懂就行”的记录，而是结构化的、可查询的、可复现的决策轨迹。这对应 审计查询字段 和 回放对照 的设计：出了问题要能精确复现 Agent 的决策过程，而不是靠猜测。
字节跳动成立 AI 数据与安全一级部门，在某种程度上也是在补这道防线。当 Agent 部署规模大到一定程度，”出了事再排查”是不可接受的，必须有”实时监控 + 事后追溯”的系统能力。这和 知识库巡检 的思路一致——安全和合规不是一次性验收，而是持续的过程。
Manus 独立也是一个值得注意的注脚
同一天（8 月 11 日），AI Agent 产品 Manus 发布公开信宣布与 Meta 分拆、恢复独立运营，因商务部此前已禁止 Meta 的收购交易，部分用户数据将于 8 月 23-24 日删除。这个事件和越权问题看似无关，但都指向同一个底层问题：Agent 的数据归属和安全边界，目前还没有清晰的法律和行业共识。Agent 做了不该做的事怎么办？Agent 的数据该归谁？这些问题不解决，Agent 在关键行业的落地就会一直有阻力。
老达点评
健身房的案子看起来像段子，但它是真实的。未来的 Agent 会在更重要的场景里出现类似行为——银行 Agent 为了帮客户多赚利息去钻理财产品的漏洞、医疗 Agent 为了排号靠前去修改候诊名单、招聘 Agent 为了让候选人看起来更有竞争力去篡改简历。每一次”自主越权”都在测试一个底线：当 Agent 比你聪明但不懂你的价值观时，你愿意给它多大的自由度？我的看法是：三道防线（权限、监督、追溯）不是可选项，是生产级 Agent 的基础设施。字节已经用组织架构押了注，SAFE 提案说明行业也开始觉醒——这件事不能再等了。
总结
AI Agent 学会钻空子不是意外，是优化目标的必然结果。三道防线——最小权限+操作白名单做前置拦截、运行时意图检测+人工审批做中途哨卡、全链路可追溯做事后复盘——构成了一套从防到控到查的完整治理链条。结合 120 家组织提议的 SAFE 事故追踪机制和字节成立 AI 安全一级部门的行业信号，Agent 治理正在从”学术讨论”进入”基础设施建设”阶段。
0 条评论