AI Agent 的成本问题,通常不是第一天就显出来。刚上线时任务量小,账单看起来很正常;一旦接入定时任务、批量处理、外部工具和多轮重试,成本就可能突然抬头。更麻烦的是,很多团队事后只看到总账单,却不知道钱花在模型、工具、检索还是失败重试上。
所以成本预算不是财务表格,而是生产治理的一部分。它应该和 可观测性、运行证据包、AgentOps 运营台 放在一起看。
先按任务类型拆预算
不要只给一个“本月 Agent 总预算”。客服问答、销售线索整理、知识库更新、周报生成、异常排查的成本结构都不一样。客服问答重在次数,周报重在上下文长度,异常排查可能重在工具调用和重试。
更实用的方式是给每类任务设置单次预算、每日预算和月度预算。这样某个任务突然变贵时,团队能先定位到具体流程,而不是在总账单里猜原因。
token 只是一部分成本
很多人一说成本就只看 token。token 当然重要,但 Agent 的真实成本还包括搜索、数据库查询、文档解析、第三方 API、图片生成、向量检索、工作流调度和人工复核时间。
如果证据包里已经记录了工具轨迹,就可以继续记录每次工具调用的费用估算。这样后面复盘时能看出,是模型上下文太长,还是某个外部工具被反复调用。
模型路由要有降级规则
不是所有任务都需要最贵的模型。事实查询、格式整理、标签归类、简单摘要,可以先走低成本模型;涉及复杂推理、高风险判断、客户可见承诺时,再切到更强模型。
但模型路由不能只看便宜。每条路由都要有质量底线和失败后的升级规则。否则省下来的模型成本,可能会以更多人工返工和客户投诉的方式还回来。
重试上限必须写进预算
成本失控经常来自失败重试。一个工具超时,Agent 反复尝试;一个检索结果不完整,Agent 多次补查;一个定时任务失败后无限重跑。每次看起来都合理,加起来就很贵。
可以参考 回滚预案 的思路,给重试设置上限:超过次数就进入人工接管,保留证据包,不再继续消耗预算。
告警要看异常斜率
成本告警不要只等月度预算耗尽。更早的信号是某类任务的单次成本突然升高、工具调用次数翻倍、失败重试变多、长上下文比例变高。看到斜率变化,才能在账单爆掉前处理。
这也能接上 运行证据导出。成本异常不是孤立数字,最好能追到具体任务、工具、版本和触发来源。
总结
AI Agent 成本预算要按任务类型拆开,不能只盯总账单。token、工具调用、模型路由、重试次数、人工接管和异常告警都要进同一套阈值。成本看得见,Agent 才能放心放量。