跳至内容

AI Solutions · 深度解读

RAG 知识库:答案锚定于来源,绝不臆造

我们构建只从已验证来源作答的知识库:混合检索、文档锚定、可追溯引用、幻觉控制以及对答案质量的持续评估。当来源不足时,系统会直接声明,而非臆造。

AI e Vokira — parole dentro, lavoro fuori

知识库 · 有据检索

输入 · 用户提问

产出 · 可引用、可核验的答案

01

权威来源摄取与切分

将源文档规范化并切分为按内容类型确定大小的连贯片段,为每个片段附上来源元数据——标题、章节、日期、权限——这些成为引用与访问控制的基础:若摄取不洁净,下游的一切都在引用空气。

02

混合检索(关键词 + 语义)

将捕捉产品代码、专有名词和精确稀有术语的关键词检索(BM25)与捕捉改述和概念的语义向量检索相结合,按排名融合(RRF)两组结果,以找回任何一方单独都找不到的内容。

03

候选短名单重排序

交叉编码器重排器仅对最佳候选的狭窄短名单重新排序,将问题与段落一并评分而非分开评分,增加一道精确阶段——它之所以保持准确,正是因为只作用于少数片段而非整个索引。

04

带引用的有据生成

模型只从短名单顶部作答,并为每个论断引用来源,于是每句话都可追溯到某个文档、某个版本与某个章节,而非沉回训练记忆。

05

事实依据与相关性校验 / 拒答

交付前,一道锚定与相关性检查将答案与所检索的段落比对:低于阈值时,系统弃答、重新检索或移交给人,因为诚实的「不在来源里」比貌似可信的臆造更有价值。

06

答案质量评估与时效保障

忠实度、上下文相关性、答案相关性、引用准确性与索引新鲜度被持续衡量,因为单一分数会掩盖问题所在,而可靠的库必须在文档与权限变化之际始终保持诚实。

何时需要

知识库臆造的征兆

若一个助手的自信没有锚定到来源,那么它再自信也一文不值。这些是我们介入之前所看到的症状。

  • 自信却错误。 系统以权威口吻断言任何内部文档中都不存在的内容:这是锚定缺失,而非笔误。
  • 没有可核验的引用。 用户无法将一句话追溯到其来源,因此既不能信任也无法纠正;每个答案都是黑箱。
  • 把过时内容当作最新。 上周更新的政策尚未进入索引,系统仍以同样的自信引用旧版本。
  • 边界泄露。 用户收到了在源系统中本无权查看的文档片段。
  • 越界问题毫无制动。 当来源不足时,模型以臆造填补空白,而不是声明自己不知道。

面向管理 关键文档、支持、合规或内部知识 的团队,他们在客户或审计员面前承担不起一个臆造的答案。

原则

先检索,后生成

放任自流的生成式模型只会预测看似合理的文本。RAG 知识库颠倒了顺序:先从你的来源中检索证据,再强制模型只在该证据范围内作答。

检索增强生成(RAG)

在作答前,系统在文档中搜索相关段落并作为上下文交给模型,并指示其只从那里作答。模型不再借助训练记忆,而是借助你的权威来源。

锚定 ≠ 正确

锚定检验的是答案是否忠于所检索的文本,而非是否绝对为真。若检索取出了错误片段,高锚定分数只意味着模型忠实地重复了错误——因此检索与评估必须当作两个独立的问题来对待。

真相来源,而非副本

索引并不取代你的源系统,而是反映它们。当文档在源头发生变化时,索引必须随之变化,否则知识库会自信地谎报今天的真相。

弃答是一项功能,而非缺陷

可靠的知识库懂得说「这不在来源里」。诚实的弃答胜过臆造的答案:企业价值在于不出错,而非有问必答。

如何构建

从来源到带引用的答案

每一层都在收窄模型被允许说的内容。流水线不是单一模型:它是一条控制链,每一环都有可衡量的职责。

1
摄取与分块

文档被规范化并切分为连贯片段,按内容类型确定大小:政策的切分方式与规格表不同。每个片段都附带来源元数据——标题、章节、日期、权限——这些成为引用与访问控制的基础。

2
混合检索

关键词检索(BM25)捕捉产品代码、专有名词和精确的稀有术语;语义向量检索捕捉改述与概念。两组结果按排名融合(RRF),找回任何一方单独都找不到的内容。

3
对候选短名单重排

交叉编码器重排器将问题与段落一并评分而非分开评分,从而对少数最佳候选排序。这是作用于短名单而非整个索引的第二道精确阶段——因此它既准确又不慢。

4
带引用的锚定生成

模型只从短名单顶部作答,并为每个论断引用来源。交付前,一道锚定与相关性检查将答案与段落比对:低于阈值时,系统弃答或重新检索,而不发布。

从来源到带引用的答案只需毫秒,且每个论断都可追溯到某个段落。

我们衡量什么

区分可靠库与貌似可信库的指标

知识库要按彼此独立的维度来评判,因为单一分数会掩盖问题所在。这些是我们持续监控的杠杆。

维度检验什么为何重要
Faithfulness(忠实度)答案中的每个论断都由所检索的段落支撑对幻觉的直接制动:无来源,无论断
上下文相关性所检索的段落确实与问题相关衡量检索:若检索差,即便忠实的答案也忠于了错误
答案相关性答案确实回应了所提问题,不跑题把切题与笼统正确但无用的内容区分开
引用准确性每条引用都指向真正支撑该句的段落使答案可核验:用户回溯到来源并核对
Freshness(新鲜度)索引反映源文档的当前状态陈旧的索引会产出今天自信却错误的答案
运营保障

我们在生产中始终运行的控制

构建流水线只是一半的工作。另一半是随着文档、权限和问题的变化,让它长期保持诚实。

01

检索内部的访问控制

权限是搜索时作用于元数据的过滤器:用户在源头无权查看的文档绝不会出现在结果中。安全边界随数据一同流动。

02

增量索引

当某个来源变化时,只重新处理已变化的部分,并以稳定标识符更新索引。没有全量重建,也没有让库以旧版本作答的窗口。

03

弃答阈值

低于锚定或相关性阈值时,答案不会发出:系统声明自己不知道、重新检索,或移交给人。范围规则是明确的,而非听天由命。

04

溯源与真相来源

每个答案都带着其论断的来源——哪个文档、哪个版本、哪个章节——本着 C2PA 等开放内容溯源标准的精神:一个论断的历史可核验。

可靠的知识库不是有问必答的那一个——而是在不该作答时不作答的那一个。

直接回答

团队在我们开始之前会问的问题

RAG 能彻底消除幻觉吗?

不能,要警惕任何作此承诺的人。它通过把每个答案锚定到真实来源而大幅减少幻觉,锚定检查加弃答阈值会在不被支撑的答案发出之前将其拦下。目标是可核验的答案,而非一种信仰之举。

当答案不在文档中时会怎样?

系统会直接声明。我们与你一起定义范围规则:明确弃答、重新检索,或升级转交给人。诚实的「不在来源里」胜过貌似可信的臆造。

答案如何保持最新?

通过增量索引:当文档在源头变化时,索引只更新变化的部分,无需全量重建。新鲜度是我们监控的一项指标,而非偶发事件。

案例笔记

从问题到结果——已匿名。

保险 · 已匿名

保单被引用,而非凭空想象

问题 支持助手在条款与保额上自信作答,却援引了已被取代的保单版本,坐席也无从将一句话追溯到其来源。

方法 带版本与章节元数据的真相来源摄取、对合同条款的混合检索、为每个条款引用的锚定生成,以及当段落不支撑答案时的弃答阈值。

结果 每个答案都带着其文档、版本与章节;当信息不在来源里时,系统会直接声明而非臆造,坐席可在与客户对话前先行核验。

制造业 · 已匿名

无边界泄露的规格表

问题 内部知识库向不同部门的工程师返回了受限文档的片段,而他们在源系统中本无权查看。

方法 将访问控制作为检索时作用于元数据的过滤器——安全边界随数据一同流动——并辅以按内容类型的分块,使规格表的切分方式不同于流程文件。

结果 用户在源头无权查看的文档绝不会出现在结果中;答案保持被引用且可核验,而不暴露边界之外的材料。

医疗健康 · 已匿名

更新到正确周次的流程

问题 临床流程经常变动,但按计划重建的索引会留下窗口,使系统以与当前版本同样的自信引用旧版本。

方法 采用带稳定标识符的增量索引,只重新处理在源头变化的部分,并将新鲜度与忠实度、引用准确性一道作为持续监控的指标。

结果 没有全量重建,也没有偏移窗口:索引反映文档的当前状态,答案不再今天自信却错误。

继续深入

把它带入你的技术栈。