这周最热的是 Google 的 Gemini 4 Argon 全面开放。跑分、定价、渠道、口碑，各家媒体都写过了。但我觉得真正值得记一笔的不是它排第几，而是一个被顺手带出来的数字：同一个模型，在官方适配的评测环境里跑 ARC-AGI-3 是 97.5%，换成标准 harness 只剩 49.8%。
差了 47.7 个百分点。这个差距不是小数点后的误差，它是「换一套脚手架，能力评价直接腰斩」。对一个要给 Agent 选型的人来说，这比任何榜单排名都重要。
一、先把事实摆清楚：发了什么、多少钱、在哪能用
按公开报道梳理，几条可以核实的事实：
- 开放节奏：这款模型两周前只在网络安全项目的参与者中展示，本周起向所有用户开放——付费 Gemini API、Gemini 应用、搜索的 AI 模式（Pro 与 Ultra 订阅），以及 Antigravity（Ultra 先给，Pro 晚两天，单独周配额）。
- 定价：引入价每百万输入/输出 2 美元与 10 美元，执行到 11 月 30 日；之后按 Artificial Analysis 的说法翻倍到 4 美元与 20 美元。
- 每任务成本：按 AA 的智能指数口径折算，一个指数任务约 1.99 美元，比同分数的 GPT-6 Astra 最高推理档便宜约四成。
- 幻觉表现：在 AA 的知识测试里，指数 45 分以上的模型中它最不爱编，幻觉率约 15%。
- 产品侧信号：这是 Google 七个多月来第一个 Flash 档以上的闭源模型；在开源编码 Agent Cline 里，首日来试的用户量约为 Opus 5.5 与 Sonnet 5.5 的三倍，平均少用约三成 token。
- 反对意见：也有开发者公开说它不适合真实代码，在其代码库分析测试里，它是唯一一个过半论断为假的模型。这是个人测试，不是权威结论，但值得记着。
同一周还有两件对照事件：Meta 发了 Muse Wonder / Full，并在三天后放出 816B 参数的开放权重版 Muse Spark Open；国内这边 DeepSeek 出了 V4.1-Flash-1017，DeepSWE 从 74.2% 提到 77.0%，同时把搜索与抓取 API 开放成按次计费，每千次 0.75 美元，10 月底前免费。
二、那个 47.7 个百分点：同一个模型，两个 harness
ARC-AGI-3 是一组交互式谜题，规则不给，要模型自己在试错中摸出来。这类任务对「脚手架」的依赖极高——模型怎么观察、怎么试、失败后怎么重来，全靠外面那层程序安排。
公开数据是：用 Google 自己的适配器，解出率 97.5%，单次跑完约 4800 美元；用 ARC Prize 的标准 harness，解出率 49.8%，成本约 5800 美元。注意后者的成本还更高——标准 harness 更贵，成绩却不到一半。
这不是作弊。厂商适配器是合法的工程优化：把提示结构、重试策略、状态表示都调到最适合自己模型的样子。问题在于，这样跑出来的数字，衡量的是「模型 + 适配器」的组合能力，不是模型本身。而榜单标题通常只写模型名。
三、为什么这个差距是常识，而不是意外
站内早就写过一层：Agent = Model + Harness。模型是大脑，harness 是决定它怎么感知环境、怎么调用工具、失败后怎么恢复的那一层。同一个大脑，换一套感官和手脚，表现当然不一样。
英伟达的 SoL-Pi 项目其实已经把这个逻辑推到极致：它让一个研究 Agent 去读另一个 Agent 的运行轨迹，然后重写对方的 harness，结果在编码任务上把 token 用量砍掉近一半（见自动重写 harness）。一个项目在优化 harness，另一个项目在用自己的 harness 刷分——两件事本质上是同一个道理的两面。
所以看到「某模型在某某基准上达到 97.5%」，正确的问题是：它用的是谁的脚手架？那个脚手架我能拿到吗？换成我自己的，还剩多少？
四、影响一：榜单从「比模型」变成「比组合」
过去一年，模型榜单的读者默认一件事：分数是可比的。这次的数字把这个默认打破了。当同一模型在两个 harness 下差 47 个百分点，任何跨厂商的分数比较都失去意义，除非明确标注环境。
对做 Agent 的团队，这会带来三个具体动作：
- 选型不能只看榜。 至少要拿自己的 20 到 30 条真实任务，在自己的 harness 里跑一遍。这件事的成本远低于选错模型的代价。
- 评测结果要带环境描述。 以后内部评测报告里，「谁跑的、用什么脚手架、什么参数」应该和分数写在一起，否则半年后没人能复现。方法见评测怎么做。
- 换模型要重跑基线。 换了模型等于换了大脑，harness 里的提示、重试次数、上下文压缩阈值往往要跟着调，不调就是拿旧脚手架测新模型。
五、影响二：评测本身开始有预算门槛
4800 美元跑一遍 ARC-AGI-3。这个数字比分数更值得普通人关注，因为它意味着「完整评测」正在变成一项有预算门槛的活动。
大厂可以为一个基准烧几千美元，小团队不行。结果是：小团队只能依赖公开榜单，而公开榜单恰恰是 harness 差异最大的地方——这就形成了一个不太好笑的循环：越没有能力自己评测的人，越依赖不可比的分数。
务实的解法是把评测分层，别追全量：一层是十几道题的哨兵集，几分钟跑完，每次改动都跑；一层是几十条真实失败样本，每周跑；全量基准只在换模型时跑一次。这套分层思路，和把评测拆成九段那套框架是一回事，只是预算更小。评测集的建法看从真实失败样本开始。
顺便说一句，跑评测本身也是要算成本的，别把评测预算漏在容量规划外面，口径参考压测与容量评估。
六、影响三：12 月 1 日之后，按 token 压预算的做法会失效
引入价 2/10 美元执行到 11 月 30 日，之后翻倍到 4/20 美元。这条对已经在用的人比发布本身更实际：如果你们的成本模型是按引入价算的，12 月的账单会直接翻倍。
更值得注意的是计价口径的变化趋势。AA 折算出的「每任务成本 1.99 美元」这种口径，比每百万 token 价格更接近真实支出，因为它把「一个任务要消耗多少 token、失败重试几次」都算进去了。站内写计价单位从每 Token 换成每任务时提过这一点，现在它正在变成行业默认的比较方式，具体的成本拆解可以看成本怎么算。
给一个可操作的建议：把预算表从「每百万 token 单价」改成「每完成一个业务任务的成本」，并且拆成模型费、工具费、检索费三行。第三行今年之前几乎没有，现在必须有。
七、同周对照：国产这边的两条线
同一周国内有两条值得放在一起看的动向。
一条是模型本身的迭代。 DeepSeek 的 V4.1-Flash-1017 在 DeepSWE 上从 74.2% 提到 77.0%，官方口径是任务完成更快、输出更短、成本更低。这类小版本迭代的意义不在分数，而在「同样的活，更少的 token」——对跑量大的 Agent 来说，这是直接的毛利改善。
另一条是检索开始单独计费。 搜索与抓取 API 开放成每千次 0.75 美元，10 月底前免费。这个动作的结构性意义比价格大：过去「联网检索」通常是包在模型调用里的隐性成本，现在它变成一项独立、可计量、可优化的支出。做 RAG 的团队要开始算一笔新账——召回几次、抓几个页面、每次抓多少内容，都直接换算成钱。检索质量的优化方向可以参考RAG 优化清单，但这次优化的目标函数里多了一项成本。
两条线放在一起看，会发现中外厂商在同一个方向上会用不同手段：一边用更大的 harness 适配去榨取分数，一边用更低的单位成本去抢跑量场景。对使用者来说，这不是站队问题，是场景匹配问题。
八、老达点评：把分数当成绩单，别当能力
我的看法很直接：97.5% 这个数字，应该被读成「Google 的工程团队很强」，而不是「这个模型很聪明」。
这不是贬低。把适配器调到 97.5% 是硬功夫，而且这份功夫对真实用户是有价值的——你在 Gemini 应用里用它，享受的正是这套适配。问题只在于，当你拿它去和别的模型比时，你比的是一个团队的工程投入，不是一个模型的智力水平。
真正值得抄的动作有三个：
一是自己建 15 到 30 条哨兵题。 从你们最近三个月真实翻车的案例里挑，不要写理想题。评测的价值跟执行频率成正比，不跟规模成正比——一个每次改动都跑的小集，胜过一个季度跑一次的大集。
二是把 harness 当成一等公民。 团队里要有人对「提示结构、工具描述、重试策略、上下文压缩」负责。模型三个月一换，harness 是能沉淀下来的那部分资产。
三是把评测成本写进预算。 这话以前没人说，因为大家默认评测不花钱。现在一次全量基准几千美元，评测就成了需要立项的开支，而不是工程师顺手跑跑。
最后提醒一句：那个说它「过半论断为假」的开发者测试，也别当成结论。一个人的代码库、一套测试方法，样本太小。但它提醒了一件事——分数高和「敢让它改生产代码」是两回事，后者要靠你们自己的回归集来证明，方法见评测样本怎么建。
九、三个提醒
- 数字来自厂商与第三方测评机构。 97.5% 与 49.8% 的对比来自公开报道的复测，不是官方发布的对比表；定价翻倍的说法来自第三方分析机构，官方未逐条确认。当参考，别当合同条款。
- 引入价有期限。 11 月 30 日之后按翻倍价计，做年度预算时按高价算，别按低价算。
- 评测器自己也要校准。 用模型当裁判，位置偏差、长度偏差、自我偏好一个都不少，校准方法见评分器设计与偏差校准。
十、总结
这次发布最值得记住的不是排名，是它把一个长期被含糊处理的问题摆到了台面上：我们一直在比较的，到底是模型，还是模型加脚手架的组合？
答案是后者。而这其实是个好消息——如果分数一大半来自 harness，那 harness 就是你能自己动手改进的那部分。运行底座在被云厂商产品化，模型在被厂商自己适配，唯一还留在你手里的，就是那层把模型接到业务上的脚手架。
能马上做的三件事：把成本表改成「每任务成本」并加上检索费一行；挑 15 条真实失败做成哨兵集；下次看到任何榜单分数，先问一句「谁的 harness」。
