知识库问答是很多团队最早上线的 AI Agent 场景，但它也最容易悄悄变差。知识库文章过期了，引用片段不完整，用户问题超出范围，Agent 仍然给出一段很顺的回答。看起来体验不错，实际是在消耗信任。
问答质检不能只看用户有没有点赞。更实用的流程，是把命中来源、引用片段、拒答条件、人工纠错和旧文更新串起来，接到 知识库过期巡检、工具输出校验、质量评估。
先看答案有没有来源
知识库 Agent 的第一条质检规则，是答案必须能追溯到来源。来源不是简单贴一个文档标题，而是要能看到命中的文档、段落、更新时间和关键引用片段。
如果答案引用了多个来源，还要看这些来源是否冲突。比如产品价格、服务范围、权限说明、售后政策这些内容，一旦新旧文档同时命中，就要进入人工确认，而不是让 Agent 自己选一个听起来合理的版本。
拒答条件要提前写清
一个合格的问答 Agent，不是所有问题都要回答。用户问到合同承诺、法律责任、医疗建议、未公开信息、客户隐私或没有证据的问题时，拒答比胡答更重要。
拒答规则可以和 异常分级 结合。低风险问题提示用户补充信息，高风险问题转人工，超出知识库范围的问题给出可查路径，而不是编一个答案。
人工纠错要变成更新任务
质检时发现错误答案，不能只在对话里改一句。要记录原始问题、错误答案、正确答案、命中文档、纠错人和需要更新的知识库条目。否则同类问题下次还会再错。
这类纠错可以进入 行动项追踪。知识库负责人补文档，客服负责人确认口径，Agent 再用回放样本重新测试。
用户反馈要分清情绪和事实
用户点踩不一定说明答案错误，可能是答案太长、没解决当前问题，也可能是用户本来就对流程不满意。质检时要区分事实错误、证据不足、表达不清和服务体验问题。
把反馈拆细后，团队才知道该改知识库、改检索、改提示词，还是改业务流程。所有问题都归到“模型不行”，后续优化会非常粗糙。
总结
用 AI Agent 做知识库问答质检，关键不是给每条回答打一个分，而是把来源、拒答、反馈、纠错和更新任务串起来。答案有证据，错误能回流，知识库才会越用越稳。
