Reading Guide
先问一个问题
我们凭表层的语言表现,能够合理地归属给模型多少内在能力?
- 适合读者
- 对 AI 的能力宣称感到困惑、希望有判断依据的读者
- 阅读基础
- what-language-models-do
Key Points
先记住这些
- 技术事实:模型的训练目标是文本预测,其输出的流畅程度与内容真值之间没有机制上的关联。
- 哲学立场:仅凭形式训练能否获得意义,是一个有长期论辩的问题,两方都有认真的论证,本文不作裁断。
- 有据推论:一些实验显示模型内部会形成对任务结构的可用表示,这弱化了「纯粹表面统计」的强主张,但不足以证成「具有理解」。
- 概念问题:「通用智能」缺少公认定义,把它当作已达成或未达成的事实来争论,多半是在争一个未定义的词。
- 有据推论:能力「涌现」的部分观察可能源于评测指标的不连续,这一反驳有具体证据,但并未取消所有涌现现象。
- 实践结论:无论理解之争如何裁决,都不改变核对的必要性;对使用者而言,重要的是不要用文风去估计可靠性。
Terms
几个必要概念
- 过度归属
根据表层行为推断出超出证据所支持的内在能力。
它是使用者最常犯的判断错误,直接后果是在需要核对的地方放松了核对。- 世界模型
系统内部对所处理领域的结构性表示,而非仅对符号共现的记录。
它是「模型是否只是在拼词」这一争论的关键分歧点。- 通用智能
泛指跨领域达成目标的能力,学界有若干形式化尝试,但无公认定义。
没有共同定义时,关于「是否已经具备」的争论无法收敛。
流畅为什么不构成证据
先说一条技术事实。模型的训练目标是让文本预测更准,它没有任何单独的机制去判断所生成内容为真。因此一句话读起来是否通顺、术语用得是否地道、语气是否笃定,都由同一套语言倾向决定,与该句是否属实并不共享通道。这不是一个哲学主张,而是对训练方式的直接描述。S1
人类的经验恰好相反:日常生活中,一个人若能就某题目谈得条理清楚、用语准确,我们通常有理由推测他确实懂。这个推理在人身上大体可靠,因为流畅与掌握在人的学习过程中高度相关。把同一推理搬到模型上,前提就不成立了。使用者的判断失误,多半出在这个被无意识沿用的前提上。S1
只见形式能否得到意义
这是一个哲学问题,而不是可由实验直接裁决的问题。一种有影响的论证认为,仅从语言形式的分布中学习,原则上无法获得意义,因为意义涉及语言与语言之外的东西之间的关联,而训练材料中只有形式。另一条更早的论证以中文屋思想实验的形式提出:一个仅按规则操作符号的系统,无论表现多好,都不因此具有理解。S1S2S3
反方的回应同样认真。有人主张理解应当归属于整个系统而非其中的执行部件,有人指出「意义须来自语言之外」这一前提本身需要论证,还有人认为若某系统在几乎所有可检验的场合都表现得像懂,坚持它不懂就成了无从检验的断言。这些回应在中文屋论证提出之后的数十年间反复出现,至今没有一方说服另一方。S3
有一类经验证据值得单独提出,因为它改变了讨论的形状。在一些受控实验中,研究者训练模型完成某种形式化任务,随后在模型内部找到了与该任务真实状态相对应的可读取表示,并且干预这一表示会相应改变模型的后续行为。这类结果构成一条有据的推论:把模型说成「纯粹的表面统计、内部没有任何结构性表示」,作为一个强主张已经站不住。但它同样不能推出「模型理解了它所谈论的事物」,因为实验涉及的是构造清晰的封闭领域,与自然语言中的意义问题不是一回事。S4
「涌现」与「通用智能」的概念边界
「能力涌现」最初描述的是一个可观察现象:某些任务上的表现在模型规模较小时接近于零,越过某一规模后迅速上升。这是有据的观察。随后有研究指出,此类曲线的形状在相当程度上取决于评测指标:若用「全对才得分」的指标,曲线必然呈现跳跃;换成连续指标,同一能力的增长会平滑许多。这同样是有据的反驳。两者合起来的稳妥结论是:涌现现象的部分实例是度量造成的,是否全部如此尚无定论。S5S6
「通用智能」的问题性质不同,它主要是概念上的。学界确有形式化定义的尝试,例如把智能界定为在广泛环境中达成目标的能力并给出度量框架;也有主张应以获得新技能的效率而非已具备的技能数量来衡量。这些定义彼此不等价,公共讨论中使用这个词时通常一个也不采用。于是「AI 是否已具备通用智能」这一问题,在多数场合并不是一个关于事实的分歧,而是各方各用一个未言明的定义在说话。S7S8
两种误读各自的实际后果
把「模型已经理解」当作前提,最直接的后果是核对的松弛。它体现在细处:读到一段结构完整的训诂就不再翻《说文》,看到一份体例整齐的书目就不再核年份,遇到一个笃定的判断就把它当成结论而非假设。这类松弛不会立刻显形,它的代价要到成果被人引用、被人质疑时才浮现,而那时错误已经进入了别人的链条。S2
把「模型只是随机拼词」当作前提,后果同样具体,只是方向相反。持这种看法的人往往不肯把任何判断性的工作交出去,于是只用它做最琐碎的格式转换,而这恰恰是程序更擅长的部分。真正能省力的地方,例如从长文中定位相关段落、生成待核候选、指出与常见写法不一致之处,反而被放弃了。这不是谨慎,而是把一件工具用错了地方。S1
两种误读有一个共同的根源:都想先回答「它到底是什么」,再决定怎么用。可是这个次序在实践上行不通,因为前一个问题在可预见的将来不会有共识答案。可行的次序是反过来:先问这项工作的错误代价有多大、错了能不能被发现,再据此决定给它多大的空间。这个判断不依赖任何关于理解的立场,因而在争论未决之前就可以使用。
Conclusion
结语
「它究竟懂不懂」是一个值得长期讨论的问题,但它不是使用者每天要回答的那个问题。每天要回答的是:这一条我核过了没有。把两者分开,讨论才不至于变成表态,使用也才不至于变成赌运气。
仍可追问
- 受控实验中发现的内部表示,与自然语言场景下的意义之间是什么关系,目前没有共识。
- 中文屋论证的系统回应是否成立,四十余年来未有定论。
- 「涌现」现象中有多大比例可由度量方式解释,尚待更系统的重测。
- 「通用智能」若要成为可讨论的概念,应当采用哪一种定义,学界未有公认答案。
参考资料
- S1
Emily M. Bender, Alexander Koller.Climbing towards NLU: On Meaning, Form, and Understanding in the Age of Data.2020
DOI / ISBN:10.18653/v1/2020.acl-main.463查看来源 - S2
Emily M. Bender, Timnit Gebru, Angelina McMillan-Major, Shmargaret Shmitchell.On the Dangers of Stochastic Parrots: Can Language Models Be Too Big?.2021
DOI / ISBN:10.1145/3442188.3445922查看来源 - S3
David Cole.The Chinese Room Argument (Stanford Encyclopedia of Philosophy).2020
查看来源 - S4
Kenneth Li, Aspen K. Hopkins, David Bau, Fernanda Viégas, Hanspeter Pfister, Martin Wattenberg.Emergent World Representations: Exploring a Sequence Model Trained on a Synthetic Task.2023
DOI / ISBN:arXiv:2210.13382查看来源 - S5
Jason Wei, Yi Tay, Rishi Bommasani, Colin Raffel, Barret Zoph, Sebastian Borgeaud, 等.Emergent Abilities of Large Language Models.2022
DOI / ISBN:arXiv:2206.07682查看来源 - S6
Rylan Schaeffer, Brando Miranda, Sanmi Koyejo.Are Emergent Abilities of Large Language Models a Mirage?.2023
DOI / ISBN:arXiv:2304.15004查看来源 - S7
Shane Legg, Marcus Hutter.Universal Intelligence: A Definition of Machine Intelligence.2007
DOI / ISBN:10.1007/s11023-007-9079-x查看来源 - S8
François Chollet.On the Measure of Intelligence.2019
DOI / ISBN:arXiv:1911.01547查看来源