AI Agent 的回答看起来流畅,不代表引用就可靠。很多生产问题不是模型不会写,而是它把旧资料、二手资料、过期 FAQ 和临时聊天记录混在一起,最后给出一个语气很确定、依据却很脆弱的结论。
引用可信度评估要和 知识库陈旧内容巡检、证据包、审计查询字段 放在同一套治理里。它解决的是 Agent “依据什么说”的问题,而不是让答案看起来更像专家。
先给来源分层
不是所有资料都应该同权重进入回答。官方文档、合同原文、已发布制度、客户确认记录,一般比内部闲聊、会议口头纪要和搜索摘要更可信。团队可以把来源分成强证据、可参考、待确认和禁用四类。
分层以后,Agent 在生成答案时就能知道哪些内容可以直接引用,哪些只能作为线索,哪些必须要求人工确认。尤其是涉及金额、权限、合规和客户承诺的场景,低等级来源不能直接支撑结论。
时效要单独记录
资料曾经正确,不代表今天仍然正确。产品价格、接口字段、审批流程、SLA、组织负责人和政策口径都会变。引用可信度里必须有更新时间、适用版本和复核周期。
如果 Agent 命中的是旧文档,就应该降低置信度,或者提醒用户可能需要确认。这里可以接上 OpenClaw 回放对照,用旧样本检查知识库更新后引用是否漂移。
冲突不要靠模型硬选
知识库里常见两种冲突:一是新旧资料冲突,二是不同部门口径冲突。遇到冲突时,Agent 不应该强行挑一个最像答案的内容,而要把冲突暴露出来。
更好的处理方式是:优先官方和最新来源,保留冲突片段,说明不确定点,并把高风险问题转入人工复核。这和 失败升级规则 是一条线:不确定不是继续编,而是暂停、追问或升级。
评分要能进入日志
引用可信度最好不要只存在提示词里。每次回答可以记录来源数量、最高来源等级、最新更新时间、冲突数量、低置信度原因和是否人工确认。这样复盘时才能知道问题来自资料本身,还是来自 Agent 选择证据的策略。
长期看,这些字段还能反过来指导知识库维护。被频繁引用但可信度偏低的资料,要优先更新;经常造成冲突的资料,要尽快合并口径。
总结
AI Agent 引用可信度评估的核心,是把来源、时效、冲突和复核分开看。可靠回答不是语气坚定,而是证据清楚、口径新、冲突可见、风险动作有人确认。