本书英文版出版至今已近20年，但关于大脑究竟如何工作的问题至今仍无答案，而符号主义（认为大脑是类似于计算机的加工符号的机器）与联结主义（认为大脑是并行运转的大型神经网络）之间的争论也从未停息。本书分析了联结主义模型和符号加工模型在计算方面的优势和劣势，关注不同联结主义模型之间的差异以及特定模型与符号加工的特定假设之间的关系，并围绕多层感知器展开讨论。书中的观点在今天依然频繁成为学术讨论的焦点，并为认知科学、人工智能、深度学习等领域的未来研究指明了可能的方向。
无
我对认知科学的兴趣始于高中，当时幼稚地尝试编写计算机程序，希望将拉丁语翻译成英语。这个项目最终没有完成，但我却因此读了一些有关人工智能的文献，这些文献的核心就是将大脑视作机器的隐喻。
在我上大学期间，认知科学开始发生巨大的转变。在一本名为Parallel Distributed Processing（PDP）的两卷本书中，David E. Rumelhart和James L. McClelland及其合作者（McClelland，Rumelhart & the PDP Research Group，1986；Rumelhart，McClelland & the PDP Research Group，1986）提出，人类的大脑并不像一台计算机，这与我之前的理解不同。不过，研究人员偏爱他们所谓的神经网络或联结主义模型。当我设法找到一份暑期工作来做一些类似于PDP的人类记忆建模时，我立即被它吸引住了，并且感到非常兴奋。尽管我的本科论文与PDP模型无关（我的本科论文和人类推理相关），但我一直对计算模型和认知架构的问题很感兴趣。
在寻找研究生项目时，我参加了Steven Pinker的一场精彩讲座。他在讲座中比较了PDP和符号加工对英语过去时的影响。那场讲座使我确信，我需要去麻省理工学院（MIT）与Pinker合作。到MIT后不久，我和Pinker开始合作研究儿童的过度规则化错误（breaked、eated等）。被Pinker的热情所感染，我开始思考英语不规则动词的细节之处。
除此之外，我们发现的结果与一种特殊的神经网络模型不符。当我在讲座中提出我们的成果时，我发现了一个沟通上的问题：不管我说什么，人们都会认为我反对各种形式的联结主义。不管我如何强调我们的研究没有碰到其他更复杂的网络模型，人们似乎总是想着“Marcus是反联结主义者”。
我不是反联结主义者，我只是反对某些联结主义模型的特定子集。问题在于，联结主义这个术语已经基本等同于一种特定的网络模型，一种先天结构很少的经验主义模型，一种使用学习算法（如反向传播）的模型。这不是可以建立的唯一一类联结主义模型，实际上，这甚至不是正在建立的唯一一类联结主义模型，但是由于这种网络模型相当激进，因而持续吸引着大家的注意。
本书的主要目标是说服各位读者：这类备受关注的网络模型在所有可能的模型中仅是冰山一角。我认为，合适的认知模型很有可能存在于一个不同的、探索较少的领域中。无论你是否认同我的观点，我都希望你至少看到探索更广泛的可能模型的价值。联结主义不仅仅需要反向传播和经验主义。从更广泛的意义上讲，它可以很好地帮助我们回答以下两个相互关联的问题：大脑的基本构建模块是什么，以及如何在大脑中实现这些构建模块。
本书中所有的错误都是我造成的，而大部分做对的事情应该归功于我的同事。在整个研究中，我最感谢Steve Pinker，感谢他耐心的教导、不断的鼓励以及细致且发人深省的建议。还要感谢我的本科生导师Neil Stillings和Jay Garfield，在汉普郡学院的本科学习中，他们花了很多时间教我，而且他们对本书的早期草稿提出了出色的建议。
时间再往前推，我的第一任老师是我的父亲Phil Marcus。虽然严格来说他并不算是我的同事，但他经常会与我讨论一些重要的理论问题，这些问题有助于我厘清自己的想法。
自从我来到纽约大学，Susan Carey一直是我的非官方导师。我对Susan Carey以及其他为本书提出建议的人深表感谢。
还有许多同事对本书的早期版本提出了非常有帮助的建议，包括Iris Berent、Paul Bloom、Luca Bonatti、Chuck Clifton、Jay Garfield、Peter Gordon、Justin Halberda、Ray Jackendoff、Ken Livingston、Art Markman、John Morton、Mike Nitabach、Michael Spivey、Arnold Trehub、Virginia Valian和Zsófia Zvolenszky。Ned Block、Tecumseh Fitch、Cristina Sorrentino、Travis Williams和Fei Xu都对某些章节给出了鞭辟入里的评审意见，感谢他们的有益建议和对我所提出疑问的耐心解答。感谢Benjamin Bly、Noam Chomsky、Harald Clahsen、Dan Dennett、Jeff Elman、Jerry Fodor、Randy Gallistel、Bob Hadley、Stephen Hanson、Todd Holmes、Keith Holyoak、John Hummel、Mark Johnson、Denis Mareschal、Brian McElree、Yuko Munakata、Mechiro Negishi、Randall O’Reilly、 Neal Perlmutter、Nava Rubin、Lokendra Shastri、Paul Smolensky、Liz Spelke、Ed Stein、Wendy Suzuki、Heather van der Lely和Sandy Waxman，以及我在UMass/Amherst（本项目于此开始）和纽约大学（本项目于此完成）的同事。还要感谢帮助我管理实验室的研究助手Shoba Bandi Rao和Keith Fernandes，以及所有参加了1999年春季我的“认知科学的计算模型”研究生课程的学生。感谢MIT出版社，尤其是Amy Brand、Tom Stone和Deborah Cantor-Adams，他们为本书的制作提供了帮助。感谢NIH Grant HD37059对本书最后的准备阶段提供支持。
我的母亲Molly可能对不规则动词或神经网络没有兴趣，但她一直鼓励我探索新知。她和我的朋友们，尤其是Tim、Zach、Todd、Neal和Ed，帮助我在整个项目过程中稳步推进。
最后我希望感谢Zsófia Zvolenszky，把她放在最后不仅仅是因为字母顺序，而是因为从我开始写这本书的那一刻起，她就一直在激励和启发我。她的建议和爱让本书变得更好，也让我变得更快乐。我把这本书献给她。
计算机\人工智能
本书极具创新性，见解深刻，分析精准。作者讨论了我们在理解大脑的过程中遇到的核心问题，即认知架构的本质。书中指出了联结主义模型和符号加工模型在计算方面的优势和劣势，深入细节的同时兼具整体视角。强烈推荐认知科学家、认知神经科学家和人工智能研究人员阅读本书。
——Steven Pinker，麻省理工学院教授，著有How the Mind Works和Words and Rules
任何想要了解大脑本质的人，都必须面对符号主义和联结主义架构之间的争论。本书对这场争论给出了迄今为止最复杂的论述，清楚地展示了什么是利害攸关的问题，并且通过令人信服的实例展示了至少部分满足符号主义的架构。
——Ned Block，纽约大学哲学和心理学教授
本书对联结主义模型的底层表示和过程进行了深入分析，并对认知过程中变量和绑定的作用进行了有力的辩护。这些发人深省的讨论一定会引发关于正确的认知架构建模方法的思辨。
——Arthur B. Markman，得克萨斯大学心理学教授，著有Knowledge Representation
本书会让你大吃一惊。书中并没有攻击联结主义，而是正视联结主义在认知科学中所起到的恰当作用，并为其详细的理论进行辩护。这是一本优雅、清晰且充满思辨的书，它将对研究人员如何从不同的角度思考认知和发育的本质产生巨大的影响。
——Paul Bloom，耶鲁大学心理学教授
本书将20年来关于联结主义和符号加工的讨论推向了更高的层面。书中仔细阐述了所有符号系统（包括人类语言的语法）的三个基本特征，然后给出了流行的联结主义架构无法实现这些特征的原则性理由，证明这些模型无法从当前小小的成功扩展到适应语言学习的全面发展。希望本书能激励读者去寻找新的联结主义架构，并激发语言学家和网络建模者之间进行更富有成效的对话。
——Ray Jackendoff，布兰迪斯大学语言学教授
如果你对大脑的计算理论感兴趣，或者对必要的神经结构如何建立所需的机制感兴趣，那么欢迎读一读这本书。作者对这些问题的深思熟虑清晰地呈现在本书中，可谓一部佳作。
——C. R. Gallistel，罗格斯大学罗格斯认知科学中心教授
本书将联结主义模型的研究与符号加工的明确表述结合起来，特别关注不同联结主义模型之间的差异以及特定模型与符号加工的特定假设之间的关系。本书的表述与其他书有很大不同，主要体现在两个方面：一方面，不区分消除型联结主义和实现型联结主义，重点关注一类特定的模型——多层感知器；另一方面，本书的辩论不是关于符号而是关于符号加工的。庆幸的是，本书脉络清晰，包含大量的实验和模型，可读性很高。
本书的主要内容如下。第1章介绍本书的写作意图和主要观点。第2章介绍多层感知器的工作原理，并引入了两个模型：家谱模型和句子预测模型。接下来，第3~5章分别讨论符号加工的三个核心原则，即大脑表示变量之间的抽象关系，大脑具有递归结构化表示的系统，大脑区分个体的心理表征和种类的心理表征，并且将它们与多层感知器认知方法中隐含的假设进行比较。第3章重点阐述变量之间的关系，说明多层感知器模型和规则、变量操作之间的关系，讨论变量和实例之间绑定的替代方法，并且通过两个具体案例对变量操作进行研究和分析。第4章重点介绍结构化表示，辩护了一种观点，即大脑具有内在的表示结构化知识的方式，并说明在多层感知器中使用最广泛的表示方案不支持这样的结构化知识，但给出一种新的解释来说明如何在神经基质中实现这样的知识。第5章主张大脑能够表示种类和个体之间的区别，并对多层感知器、客体永久性等方面进行讨论。第6章讨论如何在儿童的大脑中构建符号加工机制，以及这种机制是如何在进化过程中形成的。第7章对全书进行总结。
本书由多位译者合作完成，具体分工如下：前言至2.2.1节由罗昂翻译，2.2.2节至3.3.4节由何树浩、刘欣翻译，3.3.5节至4.1.1节由陶雯轩、于栖洋翻译，4.1.2节至4.5节由韩建雨、刘欣翻译，5.1节至6.2.3节由伊同亮、于栖洋翻译，6.2.4节至第7章以及注释由王赛涵翻译。牛博、王小凤、武钰、金潇阳、马佳文负责校对，刘伟、刘欣、于栖洋对全书进行了统筹校对和统稿。
本书翻译难度较大，主要原因是其内容涵盖从句法到几何学再到社会学等多领域的知识，并且涉及从初始期到成熟期的所有发展阶段。一些专业术语在不同领域有不同的名称与用法，译者对此进行了讨论，并根据语义与上下文来确定译法。由于本书的专业性很强，译文难免存在纰漏，望读者在阅读过程中不吝赐教。
在此感谢机械工业出版社的编辑，正是因为他们的努力才使得本书中文版在最短的时间里与读者见面。
译者
2021年6月
译者序
前言
第1章 认知架构1
1.1全书预览2
1.2免责声明5
第2章 多层感知器7
2.1多层感知器如何工作7
2.1.1节点7
2.1.2活性值8
2.1.3局部表示和分布式表示10
2.1.4输入与输出之间的关系11
2.1.5对隐藏单元的要求12
2.1.6学习16
2.1.7学习率18
2.1.8监督18
2.1.9两种类型的多层感知器19
2.2示例19
2.2.1家谱模型：前馈网络20
2.2.2句子预测模型：简单循环网络22
2.3多层感知器是如何在认知架构的讨论中出现的24
2.4多层感知器的吸引力25
2.4.1初步的理论思考25
2.4.2对初步思考的评价26
2.5符号、符号加工器和多层感知器29
第3章 变量之间的关系33
3.1多层感知器模型和规则之间的关系：细化问题33
3.1.1可以泛化UQOTOM吗34
3.1.2UQOTOM的自由泛化：在可以执行变量操作的系统中37
3.1.3在物理系统中实现变量操作38
3.2多层感知器和变量操作39
3.2.1为每个变量分配一个节点的模型40
3.2.2为每个变量分配一个以上节点的模型41
3.3表示变量和实例之间绑定的替代方法47
3.3.1在多层感知器中使用节点和活性值进行变量绑定48
3.3.2联合编码48
3.3.3张量积49
3.3.4寄存器51
3.3.5时序同步52
3.3.6讨论54
3.4案例研究1：婴儿期的人工语法55
3.4.1不包含变量操作的模型55
3.4.2包含变量操作的模型60
3.4.3总结64
3.5案例研究2：语言屈折65
3.5.1经验数据65
3.5.2三个标准的运用67
3.5.3讨论76
第4章 结构化表示79
4.1多层感知器中的结构化知识79
4.1.1几何构想80
4.1.2简单循环网络82
4.2对“大脑为每一个主谓关系分配单独的表示资源”这一观点的挑战84
4.3关于在神经基质中实现递归组合的提议88
4.3.1可以表示递归结构的外部系统88
4.3.2语义网络89
4.3.3时序同步92
4.3.4交换网络94
4.3.5将结构映射到活性值95
4.4新提议99
4.4.1treelet99
4.4.2与其他方案的比较102
4.4.3一些限制104
4.5讨论106
第5章 个体107
5.1多层感知器109
5.2客体永久性115
5.2.1客体永久性的实验证据115
5.2.2缺乏显式表示种类和个体之间区别的客体永久性模型118
5.3明确区分个体表示与种类表示的系统120
5.4记录和命题121
5.5神经实现123
第6章 符号加工机制从何而来127
6.1符号加工是天生的吗127
6.1.1一种提议127
6.1.2可学习性论点128
6.1.3婴儿的实验证据129
6.2符号加工是否具有自适应性130
6.2.1符号130
6.2.2规则132
6.2.3结构化表示134
6.2.4个体136
6.2.5总结138
6.3符号加工如何发展138
6.3.1将DNA作为蓝图138
6.3.2是否应该放弃天生的结构化皮质微电路140
6.3.3在获取经验之前关于大脑结构组织的重要示例145
6.3.4解决一个明显的悖论147
第7章 结论151
注释155
参考文献169
