很多团队把 AI Agent 知识库当成一个资料仓库:把文档塞进去,能搜出来就算完成。真正运行一段时间后,问题会慢慢出现:旧制度还在被引用,新流程没有同步,两个来源给出不同答案,Agent 还会把没有出处的内容说得很肯定。
所以知识库不是一次性建设,而是一条更新闭环。它要和 知识库回放测试、引用冲突处理、Agent 评估集 连起来,才能让 Agent 的回答持续可控。
采集阶段先区分资料身份
进入知识库的资料,至少要分清来源类型:正式制度、产品文档、会议纪要、客服话术、临时公告、外部网页。不同资料的可信度不同,更新频率也不同。
不要让 Agent 只看内容相似度。一个临时群消息和一份正式制度都提到同一个规则时,优先级不能一样。资料身份不清,后面检索再准也容易给出错误结论。
校验阶段要看来源和时间
知识库更新最怕“新资料进来了,旧资料没下线”。校验时要检查生效日期、失效日期、负责人、适用范围和是否替代旧版本。
如果新旧资料冲突,不要让 Agent 自己合并成一个听起来顺的答案。更稳的做法是标记冲突,提醒责任人确认,并把处理结果写回知识库。
发布阶段要有版本记录
知识库发布不是上传文件这么简单。每次发布都应该记录:新增了什么,删除了什么,哪些问题会受影响,是否需要通知使用这个知识库的 Agent。
这一步可以接上 审计日志字段。当某个 Agent 后来回答错误时,团队可以回头看它当时检索到的是哪个版本。
回放阶段验证真实问题
知识库更新后,最好不要只抽查几条文档。更有价值的是拿历史问题回放:旧问题现在会不会引用新来源,原来答错的问题是否修正,新增资料有没有引入新的冲突。
回放结果可以进入 运行看板,长期观察引用命中率、冲突率、无来源回答比例和人工纠错次数。
总结
AI Agent 知识库更新闭环的核心,是让资料从采集、校验、发布到回放都留下证据。知识库越大,越不能只靠“多放资料”。来源、版本、冲突和回放都管住,Agent 才能少引用过期内容,少制造看似合理的错误答案。