Reading Guide
先问一个问题
人的判断在多大程度上可以、并且应该交给 AI?
- 适合读者
- 打算把大部分例行判断交给 AI 的读者
- 阅读基础
- fluency-is-not-understanding;correlation-induction-and-limits
Key Points
先记住这些
- 哲学立场:有一类知识难以完全言传,它体现在做事之中而非陈述之中;这一区分对判断能否外包极为关键。
- 有据推论:能够写成明确规则的判断最适合交出去;越依赖长期经验与情境感的判断,交出去的代价越大。
- 技术与人因事实:人在面对自动化建议时存在过度依赖的倾向,这一现象在自动化研究中早有记载。
- 外包判断的隐性代价是判断力本身的退化,因为判断力靠反复作出并承受后果来维持。
- 责任不随任务一同转移:使用工具的人仍需为成果负责,这是既有学术规范的一致立场。
- 「责任缺口」是一个真实的理论难题,但在个人使用的场合,它更多是提醒不要把可归责的判断交给不可归责的系统。
Terms
几个必要概念
- 默会知识
知道如何做但难以完全说清楚的知识。
它无法被完整写入任务说明,因此依赖它的判断也就无法被完整交出去。- 自动化偏倚
人倾向于过度信任自动系统的建议,并因此减少独立核查。
它使「有人复核」这道防线在实际运作中比设想的薄弱得多。- 责任缺口
当系统行为无法由任何具体的人合理预见或控制时,责任归属出现空白。
它提示我们在设计流程时应避免制造无人可负责的环节。
有些东西写不进任务说明
波兰尼有一句常被引用的话,大意是我们所知的多于我们所能言说的。骑车、辨认面孔、判断一段译文是否走味,都属于这一类:做得到,却说不全。哲学上另有一个相近的区分,即知道如何与知道那样是两种不同的知识,前者不能化约为一组命题的掌握。这些是哲学立场,并非实验结论,但它们对判断能否外包这个问题极为关键。S1S2
由此可得一条有据的推论。凡是能被写成明确规则的判断,写下来即可交出去,交给程序比交给模型更稳;凡是依赖长期浸润才形成的判断,无论写多少条规则都会漏掉最要紧的部分。中间地带最麻烦:它看上去可以被规则化,实际执行时却总有例外,而例外恰恰是判断力所在的地方。S1S3
- 适合交出去:格式统一、字段抽取、机械比对、初步分类、候选生成。
- 可以交出去但须复核:概括、归并、按已定体例改写、术语一致性检查。
- 不宜交出去:疑难句译法的取舍、异文的是非判断、材料可信度的评估、什么值得收录。
- 绝不应交出去:署名发布的最终决定,以及对不确定之处如何向读者交代。
交出去之后失去的东西
人因工程领域很早就记录到一种现象:当系统提供建议时,人的核查会不自觉地放松,尤其在系统平时表现良好的情况下。这不是懒惰,而是注意力的自然分配方式。它带来的后果是,「有人复核」这道防线在实际运作中往往比设计时设想的薄弱得多,且系统越可靠,防线越松。S4
另有一层代价更缓慢也更难察觉。判断力靠反复作出判断并承受其后果来维持。一个长期不自己断句的人,断句能力会退;一个长期由模型给出初译的人,对原文语气的敏感会钝。这是一个论证而非实验结论:它的前提是技能须经练习维持,这一前提在多数技艺上成立,但在何种程度上适用于文献判断,缺少直接证据。稳妥的做法是把它当作值得防范的风险,而不是已被证实的规律。S2S3
责任的去处
有哲学讨论指出,当一个系统的行为不能被任何具体的人合理预见或控制时,传统的责任归属会出现空白,这被称为责任缺口。这一提法主要针对具有自主学习能力、且被用于重大决策的系统,对个人整理书目的场合并不直接适用。但它有一个可以借用的提醒:不要在流程中制造无人可负责的环节。S5S6
在本站这样的场合,责任问题其实相当清楚。工具不承担责任,因为它不能预见后果、不能被追问、不能作出更正。署名发布者承担全部责任,这也是学术出版界一致坚持 AI 不得列为作者的理由。中间不存在第三种可能。因此「模型给的」不构成任何辩解,正如「排字工排错了」不构成作者的辩解。S6
把判断力维持住的几种办法
承认外包的代价之后,问题就变成:怎样在使用工具的同时不让判断力荒废。几个办法并不新鲜,但用在这里相当有效。其一是定期的盲做:每隔一段时间挑几段材料,先自己处理,再看模型怎么做,最后比对。差异之处既检验了自己,也检验了工具。其二是先判后看:凡需要判断的条目,养成先形成自己意见再看模型建议的习惯,次序一旦颠倒,独立判断就很难再建立起来。S4
- 定期盲做几段,与模型结果比对,记下分歧。
- 凡需判断处,先自己下结论再看建议,不要反过来。
- 对模型的每一次采纳与否决都写一句理由,理由写不出就说明自己也没想清楚。
- 分歧集中的地方专门复盘,这些地方要么是自己的盲点,要么是工具的盲区。
- 留一部分工作完全不借助工具,作为手感的维持,不必多,但要固定。
第三条值得多说一句。要求自己为每一次采纳或否决写一句理由,看似麻烦,实则是最省事的防线。它一方面阻断了不加思索的接受,另一方面把判断的过程沉淀成了可复查的记录。若某段时间的理由栏里反复出现「看起来合理」这类话,那就是一个明确的信号:核查已经松了,该退回去重新过一遍。S4
需要说明的是,以上办法都属于经验性的对策,并非有实验支持的方案。前面已经指出,判断力是否会因长期依赖而退化,在文献工作这一领域缺少直接研究。这里给出的做法,依据的是技能须经练习维持这一较为普遍的观察,以及自动化研究中关于人在建议面前放松核查的记载。把它们当作值得一试的防范,而不是已被证实的处方,是比较妥当的态度。S3S4
Conclusion
结语
可以交出去的是劳动,不能交出去的是判断与责任。把这条线画在具体工序上而不是停在原则表态上,是使用 AI 而不被它带走的唯一办法。
仍可追问
- 长期依赖 AI 是否导致相关判断力退化,尚无针对文献工作的直接研究。
- 责任缺口概念在个人学术使用场景中的适用范围有待厘清。
- 默会知识能否在部分程度上被示例传递给模型,是一个可以经验研究的问题,目前证据不足。
参考资料
- S1
Michael Polanyi.The Tacit Dimension.1966
查看来源 - S2
Jeremy Fantl.Knowledge How (Stanford Encyclopedia of Philosophy).2017
查看来源 - S3
Hubert L. Dreyfus.What Computers Still Can't Do: A Critique of Artificial Reason.1992
查看来源 - S4
Raja Parasuraman, Victor Riley.Humans and Automation: Use, Misuse, Disuse, Abuse.1997
DOI / ISBN:10.1518/001872097778543886查看来源 - S5
Andreas Matthias.The Responsibility Gap: Ascribing Responsibility for the Actions of Learning Automata.2004
DOI / ISBN:10.1007/s10676-004-3422-1查看来源 - S6
Committee on Publication Ethics.Authorship and AI Tools: COPE Position Statement.2023
查看来源