可重复的 AI 工作：留存、留痕、可回退

此处的「可重复」是什么意思

计算研究领域早就讨论过这个问题：只公布结论而不公布数据与代码，同行无法验证，研究本身的可信度就打了折扣。相关建议归纳起来无非几条：记录每一步是怎么产生的，保存所有中间结果，把手工操作降到最低，为一切材料保留版本。^S1S2

把这些搬到 AI 辅助的工作上，需要作一处调整。模型每次生成的文字并不相同，所以不能要求逐字复现。可重复在这里指的是：任何一条结论都能被追到它由哪份材料、哪份任务说明、哪个模型在哪一天产生，并且他人可以用同样的材料独立重做一遍并作出自己的判断。这个标准比逐字复现弱，但足以支撑学术性的使用。^S1

要留下什么

这些东西的体量并不大，主要是文本。真正的困难在于习惯：人在顺手的时候倾向于直接改稿，改完就忘了原来是什么样。较省事的办法是把所有工作放在一个版本库里，每完成一道工序提交一次，提交说明里写清用了什么模型、做了哪一步。这样留存与留痕合成了一个动作。^S3

检查点与失败恢复

检查点应当设在错误代价开始上升的位置。批量写入文件之前、覆盖既有数据之前、对外发布之前，这三处几乎总是需要。相反，在生成候选、初步分类这类可以随时重来的环节设检查点，只会拖慢工作而不增加安全。^S4

失败恢复的关键在于每一次改动都可回退。做法上并不神秘：改动前先提交一次干净状态，改动以差异清单的形式先看后执行，执行后再提交一次。一旦发现整批处理方向错了，回退一次提交即可，不必逐个文件抢救。备份则应当独立于版本库另存一份，且定期验证能否真正恢复，未验证过的备份不能算备份。^S3S4

目录与命名的一个可用方案

留存要能持久，靠的不是决心而是低摩擦。若每次都要想「这个该放哪里」，几周之后就会开始随手乱放。可行的办法是把结构固定下来，让存放变成不需要判断的动作。以一次任务为单位建目录，目录内固定几个子项：原始材料、任务说明与验收标准、各阶段产物、核验记录、最终成果。名称一律用同一套写法，日期在前，任务名在后，版本在最末。^S1

版本管理与这套目录并不冲突，反而互补。目录负责把一次任务的全部证据聚在一处，版本库负责记录每一次改动的时间与理由。两者的分工是：目录回答「这批成果由什么构成」，版本库回答「它是怎么一步步变成现在这样的」。个人项目常见的做法是整个工作区都在版本库中，每完成一道工序提交一次，提交说明写清用了什么模型、做了哪一步、有没有跳过检查点。^S3

有一个细节值得单说：不要把长对话的全文当作留存的主体。对话冗长且难以检索，几周后无人会读。真正该留的是从对话中提炼出来的四样东西，即任务说明、原始输出、核验记录与决定理由。对话本身若要留，可以另存一份供追溯，但不应当占据目录的中心位置，否则整套留存会显得庞大而无用，最终被放弃。^S1

最后提一个衡量标准，用来判断这套留存是否真的有效：随便挑出成果中的一条，看能否在五分钟之内说清它的来路，包括依据哪段材料、经过哪几步、由谁在什么时候核过、还有什么没定。若做不到，问题一定出在留存结构上，而不是出在记性上，应当回头修目录与命名，而不是要求自己下次记牢。^S1