幻觉不是偶尔说错：一套可执行的核验程序

为什么说它是结构性的

模型逐段抽样生成，每一步都在挑一个「读起来最像接下去该说的话」的片段。当所需信息在参数中并不确定时，这一机制并不会停下来，而是照样挑出一个最像的说法。生成的流畅程度与内容的可靠程度因此是两条独立的线，这正是幻觉难以靠语气识别的根本原因。相关综述把这类现象系统整理为「生成内容与来源或事实不一致」的若干类型。^S1

另有研究进一步指出，问题不只出在预训练阶段。由于大量评测把「答对得分、答错扣分、不答不得分」当作默认规则，模型在不确定时猜一个的期望收益高于承认不知道，训练与评估的这套激励结构会持续强化猜测倾向。若这一分析成立，那么单靠扩大模型规模并不能自动消除幻觉，需要在评价方式上作出改变。这是一条有证据支持的推论，尚未成为定论。^S2

在摘要与改写这类有明确原文的任务上，早有研究把错误区分为「与原文不符」与「与事实不符」两类，并发现前者相当普遍。这个区分对实务很有用，因为两类错误的检出成本相差一个量级。^S3

四道工序

四道工序的次序不能颠倒。先做自动校验再做人工抽样，是因为前者几乎不花时间却能挡掉大量低级错误，把人的注意力留给真正需要判断的地方。先要求出处再谈其他，是因为没有出处的条目根本无从核起，讨论它对不对是浪费。

抽样比例不必追求统计上的严格，但要事先定死并记录。一个可行的起点是首批抽三成，若错误率低于事先设定的阈值则降到一成，若某一批超出阈值则该批全量复核并回头检查任务定义是哪里没写清楚。关键在于比例和阈值是事先定的，不是看到结果之后调整的。^S4

看起来管用其实不管用的做法

核验记录该写什么

核验若不留下记录，与没核过在效果上几乎相同，因为半年之后无人能说清当时核到了什么程度。记录不必冗长，一页足矣，但有几项不能省。首先是范围：这次核的是哪一批材料、共多少条、按什么规则划定这一批。其次是方法：自动规则有哪几条，抽样比例多少，抽样是随机还是按某种分层，分层的依据是什么。再次是结果：发现多少处错误，各属哪一类，其中多少已改、多少存疑未决。^S4

最后一项最有价值，也最容易被写成空话。「因时间不足未核」不是理由，「该书未见馆藏，待日后核对影印本」才是可用的记录，因为它指出了下一步该做什么。把未决之事写清楚，成果就从一份声称可信的材料，变成一份说明了自己边界的材料，后者在学术上远为可用。^S4

错误分类也值得花点力气。若把所有问题笼统记作「有误」，日后就无从改进；若能分成材料不足、抽取有误、归并有误、体例不合、凭空生成五类，几批之后就能看出问题集中在哪里，进而知道该改任务定义、该补材料，还是该换处理方式。核验记录的用处不止于自证清白，它同时是改进工作方法的唯一依据。^S1