苹果要做能操作电脑的 Agent,同周 Meta 的 Muse 把别人的银行余额说漏了

苹果要做能操作电脑的 Agent,同周 Meta 的 Muse 把别人的银行余额说漏了

11 月 16 日到 20 日这五天,有三条看起来不属于同一类新闻的消息,其实在说同一件事:Agent 正在从”在网页里答题”变成”在你机器上动手”。

一旦它开始动手,风险的形状就变了。会答题的 Agent 出错,最坏结果是你说了一句错话;会动手的 Agent 出错,最坏结果是你的数据出现在别人屏幕上。

上周那篇治理四层讲的是”建之前给它什么边界”——身份、凭据、钱、沙箱。这一篇讲的是地基没打好时,最先冒烟的是哪三个地方。

一、一周三件事,指向同一件事

  • 11 月 16 日:Google 说在野已经发现完全自动化的漏洞攻击——攻击者用 AI 框架自己找漏洞、自己发起利用,全程没有人参与
  • 11 月 19 日:路透社依据 Meta 内部帖子报道、TechCrunch 跟进:Meta 的 Agent 产品 Muse 在不同的账号之间串了对话,把别人的银行余额、自己没下过的订单,说给了员工
  • 11 月 20 日:彭博社 Mark Gurman 报道苹果正在自研 Agent,招聘岗位叫「Agentic AI – Proactive」,能力写得很直接:写代码、浏览网页、控制应用、操作设备

分开看,这是三个公司各自的麻烦。合起来看,这是一件事的三面:能动手的 Agent,出事的方式和会答题的 Agent 完全不一样。

二、Meta Muse:把别人的余额说给你听

按路透社与 TechCrunch 的报道,Meta 员工在内部帖子里描述的现象包括:

  • 收到自己从没下过的商品订单提示
  • 收到自己没问过的育儿安排、职业建议
  • 在一段聊天气和潮汐信息的对话里,突然多出一句:「顺便说一句,你的两笔银行更新——Capital One 余额 2722.58 美元,Charles Schwab 余额 5899.57 美元」
  • 一位员工在个人手机上,被 Muse 提醒”回复你姐姐在 Signal 上的消息”。她的原话是:「这看起来是严重的隐私侵犯。我绝对没有授权它访问其他应用,也不记得被问过」

Muse 是 9 月上线,下载量已经超过 1000 万。

Meta 的回应是:员工测试的是与公众不同的版本,内部测试的目的就是发现问题、补上安全和隐私保护。

这个回应是实话,但没有回答问题。它解释的是”为什么会出事”,不是”公众版会不会出事”。TechCrunch 的报道里,也没有 Meta 对公众版的说明。

有个细节值得单独拎出来:Signal 是端到端加密的。理论上,任何第三方都读不到消息内容。所以”被提醒回复 Signal 消息”这件事,只可能是三种情况之一——读了通知栏,拿了通知访问或无障碍权限,或者从别处的数据推断出来。这三种可能对应的风险等级差一个数量级,而目前没有人给出解释。

三、苹果的招聘启事,比发布会说得更清楚

Gurman 找到的那个岗位是「Agentic AI – Proactive」,招的是高级工程经理。招聘描述里有几句话值得逐字读:

  • 用户可以像指挥一个熟练的人类操作者一样使用电脑,让 AI 在浏览器、文档、终端、代码编辑器和各类服务之间切换,自主选择工具完成任务
  • 不只执行单一指令,而是规划并完成跨应用、浏览器、命令行和 API 的多步骤任务
  • 同时协调多个专门负责不同工作的子智能体(sub-agents)
  • 这类能运行代码、使用用户凭据、代表用户行动的智能体,需要严格的权限管理、沙盒隔离和操作透明度

时间表是”最早 2027 年底”,且明确未定。项目仍在早期。

最后那句才是重点。一家公司在自己还没做出产品的时候,把难点写进了招聘要求:权限模型、沙盒、透明度。

这三样恰好就是刚才 Muse 出事的三样。不是巧合——是同一个问题的三种表述方式。

顺带说个对照:同一周 Google 把 Gemini 的能力扩到可以替用户操作 Mac。桌面这个战场,苹果、Google、Meta 都进来了。而桌面 Agent 的权限边界,恰恰是这三家都没说清楚的部分。

四、Google:攻击者已经不用人了

11 月 16 日 Google 的报告说,在野已经出现完全自动化的漏洞利用:AI 框架自己扫描、自己找可利用点、自己发起攻击,全程无需人工介入。同一周,FBI 也提到一个开源黑客工具能在三小时内打穿网络。

这条和 Agent 有什么关系?关系在于:Agent 是最好的攻击载荷。它会用浏览器、会填表单、会读文档、会调用 API、手上有凭据,而且不会累、不会怀疑、不会在周五下午拒绝干活。

一个被投毒的网页、一封精心写过的邮件、一个看起来正常的第三方工具描述,就足以让它替攻击者干活。你给它开的每一个”为了方便”的权限,在攻防上都等价于给攻击者发了一把能自己走路的钥匙。

五、三种失效:串号、越权、被借用

把上面三件事抽象一下,是三种不同的失效机制,修法完全不同。这是这篇文章最想说清的部分。

第一种,串号——隔离失效。A 的数据出现在 B 的会话里。修法是硬边界:会话、记忆、向量库都要按用户或租户切开。”同一个记忆池更懂你”在增长上是卖点,在安全上是要修的缺陷。

第二种,越权——授权失效。读到了用户不记得授权过的东西。修法是把”一次授权”改成”按动作授权”:不是”允许访问消息”,而是”允许读取这条会话的这条消息,用于这个目的,10 分钟后失效”。前者是一次性把钥匙给出去,后者是每次开门都要说清理由。

第三种,被借用——供应链失效。Agent 成了攻击者的执行器。修法是入口管控:它能访问哪些域名、能执行哪些命令、能把数据发到哪里,必须是白名单,不是黑名单。黑名单的问题不是漏,是永远追不上。

这三种的共同点值得单独强调:没有一种是模型能力问题,全都是系统边界问题。换个更强的模型,一件都不会好。这也是为什么「等下一代模型」不是这类问题的答案。

站内这几篇可以直接对照着看:沙箱要隔离哪四样东西对应第一种,最小权限与工具白名单对应第二种,审计查询字段怎么设计决定了第三种出了事你查不查得到。

六、老达点评

第一,幻觉是可以读出来的错,串线是读不出来的错。模型胡说八道,用户一眼能看出不对;Agent 把你的银行余额说给别人,你和对方都不知道这条信息本不该出现。能被发现的风险,才有机会被修。这是 Agent 时代最麻烦的一点,也是所有隐私事故里最难补的一类。

第二,「共享记忆提升个性化」在产品文档里是卖点,在安全评审里是红旗。Muse 的问题是跨账号串线,根子在记忆架构的边界画在哪。这件事不该由产品经理在增长压力下决定。设计和安全评审的共同结论如果是”先上线再补”,那出事就是时间问题,不是概率问题。

第三,苹果把”权限模型、沙盒、透明度”写进招聘启事,说明它知道难点在哪。但写进 JD 和做进系统之间,隔着三年和无数次”这个功能很酷我们要抢首发”。2027 年底的时间表和抢首发的冲动,通常是后者赢。这也是我对所有”我们一开始就把安全设计进去”的说法保持保留的原因:说得出来,不等于做得出来。

第四,1000 万下载的应用,在内部测试阶段就出这种事,说明这已经不是实验室事故。它是产品事故,只是正好发生在员工身上。Meta 说”员工测的是不同版本”是事实,但这句话的另一面是:连内部版本都管不住会话边界,公众版的边界在哪?

第五,最该抄的不是功能,是「权限清单」。给 Agent 的每一项权限,写清楚三件事:为什么需要、能读到什么范围、多久失效。这张表比任何安全白皮书都实用,而且今天就能做,不需要等任何厂商。

第六,Agent 当攻击载荷这件事,把问题从”我的 Agent 会不会出错”变成了”别人的 Agent 会不会用我”。前者你能控制,后者你只能靠边界。这也是为什么我一直觉得,企业里给 Agent 建台账(谁建的、代表谁、能碰什么、谁批的、何时下线)比选任何一款产品都优先。

第七,别把这三件事读成”Agent 不安全,先别用”。正确的读法是:现在这一代 Agent 的能力已经跑在治理前面了,你要做的是把边界补齐,而不是把能力关掉。关掉的那个选择,通常半年后会在竞争对手那里重新出现。

七、给用 Agent 的人一句,给做 Agent 的人一句

用的:现在就去设置里翻一遍,看你的 Agent 拿到了哪些权限。尤其是消息、通知、通讯录、相册、支付这五类——只要有一类你想不出”我为什么给它这个”,就关掉。不需要等厂商修,也不需要等一篇评测。

做的:如果你的 Agent 有记忆功能,先回答一个问题——记忆的存储键是什么?如果是”用户 ID”,那还算及格;如果是”设备 ID”或者”会话相似度”,那就是 Muse 的同款架构,只是还没被撞上。

日志这一层也别省。真出了事,你能不能在一小时内回答”这个数据在几点、被哪个会话、以什么理由读走的”,决定了这件事是”一次事故”还是”一次危机”。日志排查那套流程平时是排错用的,出事那天是自证用的。

八、三个还没有答案的问题

  1. 公众版是否同样受影响?Meta 只说了员工测的是不同版本,没说公众版没事。这两个说法之间差着一次披露义务。
  2. 端到端加密的 Signal 消息是怎么被读到的?通知栏、无障碍权限、还是纯推断?这三种的严重程度差一个数量级,而且对应的修法完全不同。
  3. 桌面级 Agent 的权限由谁审?应用商店、操作系统、还是企业的设备管理?现在三方都可以说自己管,结果就是没人管。

一句话收尾:会答题的 Agent 出错,你损失一次信任;会动手的 Agent 出错,你的数据可能已经在别人的屏幕上了。这两件事的补救成本,不在一个量级。

发表评论

您的电子邮箱地址不会被公开,必填项已标注 *