先给结论:一项覆盖 9 篇研究、516 组多 Agent 配置的统合分析发现,把算力预算对齐之后,多 Agent 系统的平均准确率比单 Agent 低 0.042,74% 的可比对照里持平或更差。论文标题问得很直白——「更多智能体、更多样本,还是更多思考?」它要拆开的是三件长期被混在一起的东西:协调、集成、测试时算力。
这件事值得单独写一篇,因为它和昨天那篇Google 多 Agent 交出五个结果摆在一起特别有信息量:同一个星期,一边是多 Agent 拿下数学证明、形式化验证、大规模重写,一边是统合分析说多 Agent 平均不如单 Agent。两个结论都成立,冲突是表观的——差别的来源不在「几个 Agent」,在「有没有外部验证」。这一点后面会展开。
一、事实梳理:这篇论文到底做了什么
论文发布在 arXiv(编号 2611.17610),做的是二次研究:不发新实验,而是把已有研究里的多 Agent 配置抽出来,重新按「公平基准」比较。抽取范围是 9 篇实证研究、516 组多 Agent 配置(原始表格 531 行),最终形成 474 组与基准线匹配的可比对照。
它提出的核心工具叫 PACE(Parity-Aware Compute Evaluation,可译为「对等感知的算力评估」),把基准线分成四级,构成一个越来越公平的阶梯:
A 级:贪心单次通过。给单模型一次机会,用贪心解码出一个答案。这是已发表研究里最常见的基准,也是最没信息量的一级——拿十次推理去比一次推理,测的不是「协作有没有用」,是「算力多了有没有用」。
B 级:样本数匹配。让单模型也跑同样次数,取多数票或最优。这一级才开始触及「集成」的贡献。
C 级:预算匹配。把 token 消耗或金钱成本拉平。对工程团队来说这是最实用的一级——老板问的从来不是「多 Agent 强不强」,是「同样的钱,哪种做法更好」。
D 级:Pareto 前沿。扫过整个算力预算区间,看多 Agent 在任何成本档位上是否曾占优。
论文还定义了六维资源向量:思考 token、总 token、金钱成本、延迟、样本数、脚手架开销。其中有一句很扎人的话——9 篇研究里,没有一篇报告延迟。这个缺口对准备上生产的人比准确率更要命。
二、关键数字:收益大半被「多跑几次」吃掉了
几个数字值得记住,因为它们会反复被引用。
−0.042。在 B 级或 C 级基准下,多 Agent 相对单 Agent 的平均准确率差。负数,量级不大——但方向明确。
74%。在可比对照中,多 Agent 持平或低于基准线的比例。只跟样本数匹配基准比的那 360 组里,这个比例是 76%。
−0.032 对 −0.042。跟贪心单次比,差距是 −0.032;跟样本数匹配比,差距是 −0.042。后者更负,说明「把单模型也给够次数」之后,多 Agent 的处境更难看,而不是更好看。
−0.038。在五项同时报告了「贪心基准」和「样本匹配基准」两种对照的研究里,每换一种更公平的基准,准确率差就再往负走一点,平均 0.038。这就是所谓的「采样差」——很多被算作多 Agent 收益的部分,其实只是「多跑了几次、取了个多数」。
−0.195。多层随机效应模型给出的合并 log odds 估计,95% 置信区间 [−0.320, −0.070]。区间不含 0。去掉贡献最大的那一篇研究后仍是 −0.145。这一条是用来回应「是不是某一篇把结论带偏了」的质疑。
论文同时给了一个理论上的说法:当各 Agent 拿到的证据完全重叠时,沟通不会增加信息量。这句话比数字更狠——它意味着,「五个 Agent 一起讨论同一个问题」在信息论上等价于「一个 Agent 想五次」,除了多花四倍钱,不会得到新东西。
三、什么情况下多 Agent 真的有用
论文不是一篇「反对多 Agent」的文章,它明确列出了三类协调能带来真实增益的条件。这三条要背下来:
一是证据被刻意分割。每个 Agent 拿到的信息不重叠——一个读合同正文,一个读附件,一个查历史订单。这种情况下「沟通」传递的是新信息,而不是重复表述。判断标准很实用:如果你把任务拆给几个 Agent 时,它们读的是同一批材料,那就别拆。
二是存在外部验证机制。有一个不参与生成的东西(工具、测试、证明器、另一套独立数据)能判定答案对错。这时候多 Agent 的价值不在「讨论」,在于有人能说「这版不算」。
三是模型之间的错误模式不同。不同模型会在不同的地方犯错,集成才有意义。同一个模型跑五遍,错的地方高度相关,投票等于自欺。
把这三条对到昨天的 Google 那篇上,答案很清楚了:他们的多 Agent 之所以成立,靠的是证伪器(外部验证)和评审者从干净上下文看产物(证据分割),而不是「多个 Agent 一起聊」。他们自己那条反直觉发现——顺序优于并行——也顺着这个逻辑:并行制造的是重复证据,顺序传递的才是新信息。
同一批 arXiv 里还有一项专门测「加个批评者(critic)」的实验:在一个 96 条流水线的 AutoML 搜索上加 LLM 批评者,用理想批评者最多只换来约 0.005 的 AUC;换成一个 8B 的批评者,8 个数据集里有 7 个低于「不加批评者」的基线,最多掉 0.245 AUC。也就是说,验证者的能力比验证者的存在重要得多——加一个不称职的审查者,比不加更糟。
四、影响分析:三类人要改的东西不一样
做 Agent 产品的团队,要改的是基线。从今天起,任何一个「上多 Agent」的提案,都应该附带一个同预算的单 Agent 基线。同预算的意思是:同样的钱、同样的 token、同样的墙钟时间。很多提案在这个条件下会直接消失——不是因为它不好,而是因为它贵了 4 倍却没换来结果。这和成本核算里「按任务算钱而不是按 token 算钱」是同一套口径。
做评测的团队,要改的是口径申报。论文提了一份六项评审清单,核心要求是投稿或汇报时必须声明用的是哪一级基准线。「我们的多 Agent 比单模型强 5 个点」这句话,如果不说是跟贪心单次比,就没有意义。站内评测方法那篇讲的任务集与回归指标,现在要补上这一维:基准线等级。
做采购和决策的,要改的是付费对象。不要为「多 Agent 架构」这个名词付钱,要为「在相同预算下解决问题」付钱。这条听起来像废话,但市面上大量方案的价值主张就是架构本身——「我们用了多智能体协作」,而不是「我们在你的场景上比单模型准」。前者无法验证,后者可以。
还有一个所有人都该注意的:延迟。9 篇研究一篇都没报。多 Agent 的实际部署里,延迟往往比准确率更早杀死项目——用户等不了,接口超时,前端转圈。如果你正在评估多 Agent,先自己测一遍 P95 延迟,再去谈那几个点的准确率。
五、老达点评
这篇论文最有价值的地方,不是「多 Agent 平均更差」这个结论——这个结论其实很多人心里都有,只是没人系统证明过。它真正有价值的是把「不公平比较」这件事量化了:74%、−0.042、−0.038,这些数字让「你是不是只跟一次贪心比过」从一句质疑变成了一个可以要求对方回答的问题。
但我要提醒一句:别把它读成「多 Agent 是骗局」。它说的是「在证据重叠、没有外部验证、模型同质的条件下,多 Agent 是白花钱」。反过来说,只要你满足那三条中的一条,多 Agent 就有意义——而这个门槛比大多数人想的要高。真正符合条件的是:有测试可跑(代码)、有证明器可用(数学)、有独立数据可核(审计)、或者任务天然要把材料分给不同角色(法务、财务、工程各读各的)。
换句话说,多 Agent 不是一种架构选择,是一种信息结构选择。你手上的任务如果本来就是「一批材料、一个判断」,拆成五个 Agent 只会让五个人读同一份文件然后开个会。这种事在人身上我们早就不干了,换成 Agent 却觉得很先进。
还有一个观察:这个领域正在从「堆角色」转向「堆验证」。今年能跑出结果的多 Agent 案例,共同点都是有硬判定——代码能跑测试、证明能被 Lean 检查、报表能对上账。没有硬判定的场景(写文案、做策略、给建议),多 Agent 的收益基本是幻觉,因为你连「哪个版本更好」都说不清。这也是为什么站内一直强调证据包和可回放:凡是无法验证的协作,都是在制造看起来很努力的过程。
六、三个未解的问题
第一,这个结论的保质期有多长。统合分析抽取的是过去一两年的研究,而模型的「单次能力」还在快速上涨。单模型越强,多 Agent 的相对优势越难体现——但反过来说,如果单模型在长任务上开始衰减(上下文、注意力、停止判断),多 Agent 的价值可能重新出现。这不是一次性的结论,需要每年重算。
第二,异构模型团队的效果没被单独测。论文提到「错误模式不同」是增益条件,但 516 组配置里真正做异构模型(不同厂商、不同规模)的很少。这块是空白,也是我认为最可能出现正面结果的方向——用不同家的模型互相查错,比同一家跑五遍靠谱得多。
第三,脚手架开销怎么算。六维资源向量里有一维是 scaffolding overhead,但各家框架的开销差异巨大。一个编排框架本身吃掉 30% 的 token,和吃掉 5% 的,在同一个「预算匹配」下不是一回事。这一维目前没有公认的度量方法,意味着「同预算」这个前提本身就模糊。多 Agent 配置那篇讲的上下文隔离与结果聚合,实际上就是在跟这部分开销做斗争。
七、给你的三条自查
一,你的多 Agent 方案,跟什么比的?如果答案是「跟单模型跑一次比」,那这个对比不成立,重做。
二,你的几个 Agent 读的是不是同一批材料?是的话,把任务合成一个,省下的钱拿去做别的。
三,有没有一个不参与生成的东西能判定对错?没有的话,先别谈多 Agent,先解决「怎么知道做对了」这个问题——这个问题不解决,多一个 Agent 只是多一个不可验证的意见。
最后一句。这个行业每隔一段时间就会出现一种「结构上的乐观」:只要把架构搭复杂一点,能力就会自己长出来。事实证明不会。能力来自信息、来自验证、来自算力,而这三样东西里,只有算力是能靠加 Agent 买到的——偏偏它在三者中最便宜。