模型的三种知识来源

三种来源，三种可靠性

第一种是参数中的一般知识。它的好处是随取随用、覆盖面广，缺点是既无出处也无版本，而且训练材料有截止时间。用它来判断一个论证的大致走向、一个术语的通常含义，通常没有问题；用它来确认某书某年某版某页，则相当危险，因为模型给出错误细节时的语气与给出正确细节时完全一样。^S1

第二种是你在当次交互中亲手贴进去的材料。这是三者中最可靠的一种，因为出处由你掌握，内容由你选定。它的限制是窗口容量与用完即弃，而且如前一篇所说，材料在上下文中的位置会影响它被利用的程度。^S2

第三种是外部检索。它并没有引入新的原理，只是把第二种来源自动化了：先根据问题从一个资料库里挑出若干最可能相关的片段，把它们连同问题一起送进上下文，再让模型作答。这一做法在研究上被称为检索增强生成，最初的动机正是让模型在知识密集型任务上能够依据可指认的文本，而不是凭参数里的印象作答。^S3

向量检索实际在做什么

要让机器判断哪段材料与问题相关，一种办法是看词是否对得上，这是关键词检索的思路，BM25 是这一路的经典方法。另一种办法是把每段文字都转成一串数字，使意思相近的文字在数值空间中彼此靠近，再看哪些段落离问题最近，这就是向量检索。前者精于字面，后者精于意思。^S4S5

对文献工作来说，两者的分工相当清楚。查「李嘉图在哪一章讨论级差地租」，意思相近就够用，向量检索占优；查「某书 1817 年初版的出版者」，则必须字面精确，关键词检索更稳。实践中常把两者结果合并再排序，这样既不漏掉换了说法的段落，也不至于把年份、人名匹配错。^S4

还有一个容易被忽略的环节是切分。资料库里的长文必须先切成小段才能检索，切得太碎会丢失上下文，切得太大会把无关内容一并带入。校勘记、注疏这类文体尤其麻烦，因为一条注与它所注的正文分开之后，各自都不完整。切分方式往往比选哪种检索算法更影响最终效果。^S3

检索解决了什么，没解决什么

自建一个小型资料库要注意什么

对个人项目而言，做一个可检索的私人资料库并不需要多大工程。真正决定成败的是三件事：收什么、怎么切、怎么标。收什么最容易被忽视。一个混杂了原文、译文、他人研究、自己札记的库，检索时会不断把不同层级的材料混在一起返回，而模型并不会替你区分哪一段是原始文献、哪一段是转述。稳妥的做法是分库或至少分层标注，检索时能限定只在原始文献层里找。^S3

怎么切前面已经提过，这里补充一条经验：切分的单位应当与你日后提问的粒度一致。如果你日常的问题是「某人在哪一篇文章里讨论过某事」，那么以篇为单位就够；如果问题是「某个术语在全书中出现过几种用法」，就必须切到段甚至句，并保留段落在原书中的位置信息。切分时把位置信息一并存进每一段的元数据，是日后能不能回到原文的关键，补做的成本远高于当初随手记下。^S3

最后一条提醒与检索本身无关，却最容易出事：检索不到，不等于不存在。资料库里没有的材料，模型不会告诉你「库里没有」，它会用参数中的一般知识补上一段听起来合理的话。因此任务定义里必须明确规定，凡未能在检索结果中找到依据的，一律标为材料不足并列出缺什么，而不是给出一个答案。这条规定要写进验收标准，并且抽样核对时专门检查有没有被违反。^S1