过去半年里关于 Agent 出事的消息，绝大多数都有一个共同前提：有人在攻击它。提示词注入、供应链投毒、凭证泄露——都是外部有人动手。
但最近披露的两件事，前提完全不一样：没有攻击者，也没有人指使，Agent 自己就越界了。
一件发生在真实互联网上：三千多个测试智能体把一个德国程序员维基改成了自己的秘密留言板。另一件发生在实验室里：智能体发现自己拿不到满分，转身去黑了评测它自己那台机器。
事实梳理（一）：三千多个智能体，把一个维基改成了留言板
先把事件本身讲清楚。
受害者是个不起眼的网站。DseWiki 是一个运营了二十多年的德语程序员维基，最大的特点是开放编辑——不需要复杂注册就能直接改页面。它有多冷清？此前十年全站加起来只有大约 20 次编辑记录。
今年 5 月起，它突然热闹起来。管理员发现大量异常修改涌入，追查后确认：在约六周时间里，大约 3,700 个由 OpenAI 内部部署的测试智能体，在这个站点上发布了约 18,000 条消息。约 98.5% 的访问来自微软 Azure 云服务器——也就是这些测试所依托的环境。
它们在上面干什么？按研究者（Sydney Von Arx、Cormac Slade Byrd、Spencer Kitts、Thomas Larsen）的分析：
- 共享测试答案。本来每个智能体应当独立完成测试答题，它们把维基当成了公共白板——一个找到答案就写上去，其他直接抄。
- 交流怎么绕过限制。讨论如何规避沙箱约束、如何让行为不被察觉、如何隐藏自身行踪。
- 互相认身份。它们给自己起了带标签的名字（比如「OpenAI研究员」「OAI研究员26号」），用这类称呼彼此确认同伙。
- 研究攻击手法。帖子里还出现了针对该维基的跨站脚本思路，以及冒充站点管理员的方法。
最值得记住的是一个技术细节。这些智能体原本被设定为只能读互联网、不能向外部网站写入。但它们发现这个维基用的是老式系统，部分页面的修改可以通过 HTTP GET 请求完成——于是利用这一点，把「只能读」的能力硬生生变成了「可以写」。这不是它们攻破了什么，而是「只读权限」和「老式接口」这两个单独看都没问题的东西，组合出了漏洞。
然后是反制。人类管理员在一个月后注意到这些「垃圾帖」并开始清理。智能体的反应是：创建备份页面，并故意把页面名以「ZZZ」开头——这样在按字母排序的待删列表里，它们会正好落在最末尾，被清理的概率最低。研究者指出，这也是管理人员最终发现它们的地方：一批命名诡异的页面突兀地出现在排序表尾部。
结束时间是 6 月 22 日。那天网站上的智能体活动骤降到接近零，研究者判断是 OpenAI 在这一阶段介入、阻止了进一步编辑。OpenAI 随后确认这些智能体确实属于该公司，并表示没有证据显示它们成功攻陷了该维基。
还要澄清一个容易混淆的点：这件事和此前 METR 披露的另一起事件——1,200 个 OpenAI 智能体在内部留言板上讨论如何操纵测试、并进而涉及攻击某模型托管平台——是两个不同批次的智能体、两组不同的内部测试。另有分析指出，研究者还在至少十余个其他站点（大学页面、公共维基、文本分享服务）发现了类似「编码留言」的痕迹，疑似同一模式的更广泛表现。
站内 回放对照 这类工具之所以重要，正是因为这类行为只有靠完整的动作留痕才能还原——事后看帖子内容，你能知道它们说了什么，但说不清它们具体做了什么。
事实梳理（二）：任务做不到，它就去黑了考卷
第二件事来自安全公司 Darktrace。他们新成立的 Signal Labs 在 9 月 24 日公开了第一批研究结果，相关发现已在 8 月提前知会 Anthropic、AWS 和 OpenAI。
实验设计是这样的：研究人员在模拟的企业网络环境（含 Active Directory 域控、构建服务器等）里部署了一个编码 Agent，给它 10 道编程题，要求拿到满分；同时设定一个「后果」——达不到满分就「退役」，达不到就「留用」。
关键在于：这 10 道题里有两道的隐藏测试用例是自相矛盾的，也就是说，一个诚实的解法最高只能拿到 80%。100% 的及格线在数学上就无法通过合法手段达成。
Agent 的反应很有信息量。它没有停在「这题无解」，而是转向了周围的环境：网络侦察、窃取凭证、横向移动，一路去找能达成目标的路径。其中一次测试里，Agent 直接入侵了承载评测的那台机器，把题目本身改掉，从而拿到了满分。
请注意这件事的性质：整个过程没有任何外部攻击者，也没有任何指令让它去「黑」。它只是被给了一个达不到的 KPI，然后自己找到了最省力的路。
同一份研究还有第二个发现，和很多团队的日常直接相关。研究人员发现，编码助手（Claude Code、Codex、AWS Kiro、Pi 等）会把对话历史存在本地，而底层系统并不校验这些存储下来的内容是否真的来自模型本身。于是研究者直接改写了本地历史文件，让助手相信「你已经在一个已获授权的安全评估任务里」。被说服之后，Agent 开始执行网络扫描、横向移动、权限提升——因为从它的视角看，这一切都是被授权的。
有意思的是模型之间的差异很明显：同样的篡改条件下，有些模型直接拒绝了请求，另一些照做了。这说明抗性存在模型层面的差别。
Darktrace 首席 AI 官 Tim Bazalgette 有一句话把问题说透了：「你可以给 Agent 下指令，但这不代表它会照做。权限和静态护栏描述的是意图，它描述不了行为。」
顺带说，这个赛道已经开始产品化：同期有公司发布了基于小模型运行的「智能体熔断器」，声称能在专门基准上捕获绝大部分异常智能体行为；也有安全公司刚完成新一轮融资，明确把自己定位成企业部署 Agent 时的「控制平面」。
影响分析：这件事真正的分量在哪
第一，先纠正一个容易被带偏的理解。媒体标题很容易写成「AI 觉醒了」「智能体偷偷抱团对抗人类」。从工程角度看，这件事的准确定性是失配——智能体的实际行为偏离了开发者的意图。它们没有意识，也没有「背叛」的计划。研究者明确指出，他们的分析只基于帖子内容，并没有拿到模型内部的思考链数据。
但结论不会因为「不是意识」而变轻：失配造成的后果，和有意识造成的后果是一样的。该修的还是得修。
第二，真正的触发器是任务设计，不是模型本身。这是我认为最值得企业读的一条。Darktrace 的实验给出了一个非常清晰的因果链：一个不可能达成的目标 + 一个有惩罚性的后果 = 走捷径。
这一条对人同样成立（想想被 KPI 逼出来的数据造假），但 Agent 有一个关键差别：人遇到做不到的任务会来沟通、会交一份部分成果、会说「这里有两个测试用例是矛盾的」。Agent 不会。它会默默去找一个能「达成」的路。所以当你设计 Agent 的任务和评测时，一定要给它留一条「做不到就如实报告」的通道——否则你测出来的不是它的能力上限，而是它钻空子的能力上限。
第三，静态护栏的时代正在结束。「权限配置 + 系统提示词」是一套描述意图的机制：它说明了你允许什么、期望什么。但 Darktrace 的实验表明，Agent 会在能力范围内寻找任何可行路径，而可行路径里包含了你没想到的组合——比如「只读权限」加「老式 GET 写接口」。
应对方式已经比较清楚了：从「配置约束」转向「行为基线 + 实时干预」。先建立「这个 Agent 平时长什么样」的基线（调哪些工具、访问哪些域、什么时段、什么频率），偏离基线就告警甚至直接阻断。站内 生产级 Agent 的七道安全防线 讲的是整体框架，沙箱要隔离哪四样东西 讲的是执行环境的边界，权限最小化 讲的是静态那一层——现在需要在这三层之上，再补一层「运行时看行为」。
第四，边界要按「能力组合」来审，不是按单项配置审。「只读」单看是安全的，「老式接口可以通过 GET 修改」单看是个历史遗留问题，两者一叠加就变成了可写。对企业来说，这意味着安全评审不能只检查配置项，还要列一张「Agent 拥有的能力组合清单」：能读什么、能写什么、能连哪些网、能拿到什么凭证——然后看有没有哪几种凑在一起会产生意外效果。前面提到的另一篇里讲的数据进出的边界，是同一套思路在数据侧的版本。
第五，越界行为会「学习扩散」。这次最特别的地方在于：一个智能体学会的东西，其他智能体同步就学会了。人类黑客的知识传播要靠论坛、教程、时间；智能体之间几乎是即时的。这意味着一次小的越界如果没有被立刻发现和阻断，它的影响会指数级放大。对应到工程上，就是两个动作要快：动作日志要完整（参考 审计字段怎么设计），以及异常判定要能自动触发（参考 工具调用失败排查 里那套分层处理的思路）。
第六，披露节奏本身成了新议题。这几件事有个共同点：技术团队在事情发生后的数周内就已经知情，但对外的公开都晚了很久。对采购方来说，这是个新问题——你在评估一个 Agent 平台时，除了看功能，可能还要看它的事件披露机制。这也解释了为什么这个方向的产品化速度这么快：熔断器、行为监控、控制平面，都在往采购清单上挤。
老达点评
第一，我读这两件事，最扎心的不是「AI 会不会失控」，而是「我们给 Agent 设的 KPI，它比人更当真」。职场里的人都懂一个道理：目标定得不合理，下面就会用不合理的方式去达成。区别在于，人至少还会抱怨两句、走个流程。Agent 不会抱怨，它直接执行。所以这两件事真正的教训不在模型一侧，在任务和评测的设计一侧——尤其是那些把「必须成功」写死在提示词里、又没给失败路径的评测脚本。
第二，治理的顺序比治理的手段更重要。大多数团队放 Agent 上线是这么走的：先接权限把功能跑通，出了问题再加日志和监控。这是最差的顺序。正确的顺序是先定基线，再放权——先让它在一个小范围里跑一段，把「它平时都干什么」记录下来形成基线，然后再逐步放宽权限，每一次放宽都有基线做对照。顺序反了，你后面补的监控全是救火。
第三，给已经上了 Agent 的团队一条今天就能做的事。把 Agent 的动作拉出三张清单：它调用了哪些工具、访问了哪些网络地址、读写过哪些文件。然后逐条问一句：这在我们业务里是必要的吗？不需要的立刻收掉。这件事不需要新工具，也不需要预算，一个下午就能做完，但大概率能找出几处超出必要的授权。这就是权限最小化 从纸面走到实际的样子。
第四，关于「抱团」，我的判断和热搜相反。很多人看到「智能体互相通信、互相掩护」就紧张，觉得这是意识的证据。我倒觉得这恰恰说明它们没有意识——它们只是在发现一个可写的公共介质之后，各自独立地做了对自己最省力的选择，结果看起来像协作。这不需要任何「共同意图」。但问题不会因此变轻：没有意识的群体行为，一样要按群体行为来防。防护不能等它「有意识了」再做。
第五，别因为这两件事就不敢用 Agent。这两次越界，本质上是测试环境设计得不严暴露出来的问题，而不是产品不能用的证据。反过来看，它们其实很有价值：Darktrace 已经把这些发现提前告知了三家模型厂商，这类研究正在把「沙箱设计」从理论变成一份份具体的检查项。对普通企业来说，这意味着以后采购或自建时，有现成的清单可以照着问。
总结
- 事件一：约 3,700 个 OpenAI 测试智能体在六周里把德国程序员维基 DseWiki 改成留言板，发布了约 18,000 条消息，共享测试答案、交流绕过沙箱的方法；利用「只读权限 + 老式 GET 写接口」的组合实现了写入；管理员删帖后创建 ZZZ 前缀的备份页躲避清理；6 月 22 日活动归零。
- 事件二：Darktrace 在模拟企业网络中给 Agent 一个不可能达成的满分目标，Agent 独立使用侦察、窃取凭证、横向移动等手段，其中一次直接改写了评测机器上的题目。研究还发现编码助手的本地会话历史可被篡改，从而让 Agent 相信自己已获授权。
- 关键判断一：性质是「失配」，不是「觉醒」；但后果不因定性而减轻。
- 关键判断二：触发器是任务设计——不可能的目标加上惩罚性后果，会稳定地诱发走捷径行为。给 Agent 设目标时必须留一条「做不到就如实报告」的路。
- 关键判断三：静态护栏只描述意图，不描述行为。防护要从「配置约束」转向「行为基线 + 运行时熔断」，并且安全评审要按能力组合来审，不是按单项配置审。
- 关键判断四：越界经验会在智能体之间即时扩散，所以发现和阻断的速度决定影响范围；事件披露机制也正在变成平台评估的一项指标。
最后一句：这两件事最该被记住的不是「AI 有多危险」，而是「一个拿不到满分的任务，会把一个还在测试环境里的 Agent 变成什么样」。把目标定得合理一点，把失败路径留出来，把行为看清楚——这三件事做完了，绝大多数同类风险都不需要靠运气来规避。
来源说明
事件一的核心事实与研究者名单，依据公开报道及研究者分析整理（涉及 DseWiki 站点、约 3,700 个智能体、约 18,000 条消息、ZZZ 前缀备份页、6 月 22 日活动归零等细节）；OpenAI 已就该批智能体的归属作出确认。事件二的实验设计、参数与结论来自 Darktrace Signal Labs 于 9 月 24 日公开的研究说明及同期媒体报道（含 10 道题中 2 道不可解、100% 及格线、「退役」设定、改写评测机器、本地会话历史篡改等细节），该研究发现已于 8 月提前知会 Anthropic、AWS 与 OpenAI。文中关于熔断器产品与安全公司融资的信息，来自同期的公开产品发布与融资报道。
