本书主要关注语言表达的意义，提供概念化和形式化的工具以建立能够理解文本的语义系统。书中对语义学的数学基础、预述法、图形和机器、表型语法、词素、模型、具体化和人工生命的意义等主题做了探讨，不仅涵盖系统的工作原理，而且给出了严谨的数学描述，并提供大量不同难度的练习。本书具备鲜明的跨学科特性，适合计算机科学、语言学、哲学、认知科学等不同方向的读者阅读，建议读者结合编程实践以及扩展阅读资料，不断加深对原理、模型及系统的理解。
跨学科语义学著作，动手开发能够理解文本的语义系统
语义学是对意义（meaning）的研究。本书（除了最后一章）主要关注的是语言表达的意义，这里的语言表达指的是句子或者更长的文本，而不是计算机程序、数学公式或者更广泛的符号学所关注的意义。一般来说，“语义学”更多指的是单词的意义，但是Urban Dictionary将语义学定义为：
讨论单词或词组在特定语境中的意义的研究，通常是为了赢得某种形式的争论。注意，不要陷入语义学的泥潭中。
这一领域可以被归类到语言学、计算机科学、哲学或认知科学中的任意一个学科内。本书在页边将一些段落特别标记为Ling（语言学，linguistics）、Comp（计算机科学，computer）、Phil（哲学，philosophy）或者CogSci（认知科学，cognitive science）。本书的这种组织方式也反映了语义学这一学科的模糊性。因为没有人能成为所有这些领域的专家，所以本书会分别讨论每一个领域的基础知识。
谁应该阅读本书？
我们的目的是提供概念化（conceptual）和形式化（formal）的工具，用于建立能够理解文本的语义系统。该系统既面向信息提取、问答等特定任务，也面向语义网等更宽泛的任务。我们的目标是介绍工作系统（working system）所依赖的基本思想，这主要针对对开发语义系统感兴趣的计算机科学或者工程专业的学生。本书理想的读者是“黑客”，即“喜欢深入了解系统内部工作原理的人”，他们不仅愿意尝试和实验不同的事物，而且乐于研究数学模型。从这个角度来说，本书是比较难理解的，因为书中所使用的句子很长，有很多很长的单词，也没有使用类似侧边栏材料的排版技巧，所以无法根据关键字快速粗略地阅读。而且我们还假设读者会花时间完成练习题，并在读不懂时查阅相关的资料。
本书的重点在于思想，但是我们也在GitHub上准备了很多相关的代码（大约2500行）。我们希望读者的学习计划以实践为主，从代码开始，只在需要时才参考书中的内容。不过，我们也必须提醒这些以实践为主的读者，书中所讨论的内容中只有大约三分之一附有代码，其余的部分需要自己解决。其他更传统的阅读建议可以参见1.5节。
如果你学习语义学是想通过代码来执行语义任务，那么可以从本书代码的文档参考中找到相关的网站—文本和不断增加的Python代码之间有双向超链接。本书是为有经验的软件开发人员准备的，没有介绍Python，也没有为代码提供详细的文档。强烈建议读者参与到代码更新中，见https://github.com/kornai/4lang（需要在比GPL更弱（更宽容）的CC Attribution或类似许可下，允许商业重用，并且不能对代码的其余部分产生任何病毒式的影响（GNU LPGL、BSD和类似的许可证都可以））。
以计算为导向的读者，比如计算机科学/工程专业的研究生或高年级本科生，会发现除了第2章总结的数学基础知识以外，其他章节是相对独立的。在本书的其余部分，我们会针对自然语言（而不是程序语言）进一步开发和探索这些数学基础知识。由于我们选择自然语言作为研究主题，这些内容与现在在程序语言语义学中被视为理所当然的数理逻辑基础知识几乎没有共同之处。程序语言语义学的核心是用程序证明（proof as program）。在程序语言语义学中，一个有趣的事实是，逻辑学家在对数学原理证明的分析过程中所使用的词汇表（在2.6节中有简要介绍）与计算机科学家为了研究计算理论所建立的词汇表有很高的重叠度。对于熟练的程序员或者逻辑学家而言，这种奇妙的联系是非常吸引人的。但是对自然语言的处理只需要更简单的零阶（zeroth order）理论，即带有一些模态扩展的命题演算，而更复杂的问题是有关概念的可学习性。
为了建立一个能处理自然语言输入的系统，需要大量的语言学知识，而在本书中，标记为Ling的段落是面向不熟悉语言学知识的读者的。限于篇幅，我们不可能介绍全部常用的语言学技术机制，因此，这些段落实际上只是对语言学知识进行了简单的介绍，更基础和详细的内容需要读者自己从这些段落的参考文献中获取。而且，由于本书所介绍的内容都是为了解决实际的语义学问题，所以本书引用的语言学文献并没有涵盖语言学的全部范围，甚至并没有包含当代语言语义学的全部范围。Jacobson（2014）出版了一本详细且系统地介绍成分语义学（compositional semantics）的优秀书籍，因此本书将把更多的篇幅放在词汇语义学（lexical semantics）上。
语言学专业的学生，尤其是具有计算思维的学生，可能更容易掌握这些需要学习的内容，尽管本书所涉及的内容与经典的语义学课程有很大区别。那些缺乏计算机基础的学生可以先阅读Jurafsky和Martin（2009）或者Bird、Klein和Loper（2009）的书籍。本书涉及哲学或者认知科学的内容比较少，但涵盖一些重要的数学基础，我们将在第2章中讨论。
标注Phil的段落通常讨论的是哲学相关的话题，比如语言哲学、科学哲学等。当我们需要从根本上讨论一些问题的时候，需要大量地运用哲学思想，比如在第3章中。在本书中，我们会经常将所讲述的内容与哲学观点相联系，但是本书所包含的哲学内容并不是对哲学知识的系统性介绍，也不适合没有哲学基础的人自学使用。相反，本书是为那些已经有一定哲学基础的读者准备的，目的是引导这些读者了解本书所讨论的内容如何与相关的哲学观点和讨论联系起来。
我们为一些著名的哲学难题提供了新的解决方案，特别是谷堆论证（又称连锁悖论）和分外功行（supererogation），但是我们的讨论都是面向实际问题的（因为我们实际上是在系统设计的过程中涉及了相关的话题），而不会提供完整、详尽的哲学论述。一般来说，哲学专业的学生会对一些宏观的问题进行深入的学习，比如，什么是意义？什么是知识？什么是真理？但这里并没有对这些问题进行系统的哲学论述。我们提供的是一种高技术含量的模型，能够从计算机和数学（更多的是基于代数学而不是逻辑学）的角度，对意义（meaning）、知识（knowledge），以及真理（truth）进行建模。
我们没有在（哲学）逻辑学相关的章节中引用计算机和数学相关的基础知识。在1.5节中，我们提供了一个针对哲学的阅读计划。在阅读本书的时候，哲学家需要明白，我们不会得到一门非常专业化的技术性语言。在分析权利（right）时，我们针对的是日常概念，而不是经过简化后的权利概念。当然，我们将区分right1 “dextra”与right2“bonus”和right3“ius”，但对最后一项的定义只是“法律”，而法律又被定义为rule, system, society/2285 HAS, official, ’ ACCEPT, ABOUT can/1246[person[=TO]]（这些定义的形式化理论见6.5节）。粗略地说，法律是社会的规则体系，被官方认定并且被人们所接受，定义了人们可以做的事情。但与此同时，我们也容易想到，不是也存在不为人们所接受的不公正的法律吗？难道没有超越社会的权利吗？我们认为，这些问题虽然很有价值，但不能在研究日常语言的过程中得到很好的解决。引用Kornai（2008）的一段话：
由于几乎所有的社会活动最终都依赖于语言交流，因此很多人试图将其他研究领域的问题简化为纯粹的语言学问题。与其理解精神分裂症，也许不如首先思考多重人格（multiple personality）这个词的含义。数学已经提供了“多重”的概念，但什么是“人格”？一个人又怎么会有多个人格呢？对后缀-al和-ity的正确理解会是解决这个问题的关键吗？
最初，理解系统（understanding system）是由一些研究人工智能的学者—比如Allen Newell和Herbert Simon—建立的，他们试图对人类的认知系统进行建模，或者借鉴对人类思维组织系统的已有研究来设计自己的系统。一些系统（如SOAR或ACT-R）仍在使用中，而另一些则被OpenCog等新的认知架构取代。
随着功能磁共振成像技术（functional MRI）的出现，这一领域得到了极大的发展，但本书很少涉及这一快速发展的领域。除了作者本身的局限性外，另外一个重要的原因是，试图从自然中借鉴思想进行自然语言处理已经被证明是一个死胡同。
主流的语义系统，比如IBM的Watson，并不是巨型的电子大脑，实际上，它们从生物系统中借鉴的内容很少。一些组件可能使用的是神经网络，但更多的情况是一些统计模型，如支持向量机，这些统计模型并没有从生物学借鉴任何内容。在BICA Society的领导下，认知科学家正尝试研究新的生物启发模型，但到目前为止，他们在语义学的核心问题上还没有获得太大进展。
随着算法的设计越来越仿照人类社会，面向自然语言理解设计的算法架构可能也会引起哲学家和认知科学家的兴趣，第3章和第9章将包含很多相关的材料。不过，这些学科所涵盖的范围很广，超出了本书的范围。强烈建议哲学专业的学生参考Boden（2006）的书的第16章，认知科学专业的学生应该阅读Boden（2006）的全部两卷，以及Gordon和Hobbs（2017）的书。这些不是本书必备的基础知识，而是为了帮助你获得更深入的理解。本书在很大程度上是对Boden（2006）的补充，因为本书将非常详细地介绍当代语义学的技术机制，并且因为在Boden（2006）之后出版，所以本书将涵盖许多Boden没有介绍的内容。
本书高度赞同具身认知（embodied cognition）的主张和思想，但是会借助形式化的符号来处理问题，因为本书关注的是构建能够执行语义任务的算法，如图解推理（schematic inferencing）（见7.1节），即使这种形式化是以牺牲认知现实主义（cognitive realism）为代价的。本书是为那些对制造飞行器感兴趣但不关注鸟是怎么飞的人准备的。对认知科学专业的学生来说，唯一的安慰就是一些技术设备（technical apparatus）（不妨理解为空气动力学原理）会与认知科学有一定的共通性。1.5节中为认知科学家提出的阅读计划将强调这一共通性。
排版说明
针对那些我们认为读者已经知道但可能需要深入了解的概念和观点，书中用黑体表示并给出了其维基百科（Wikipedia，WP）、PlanetMath或斯坦福哲学百科全书（Stanford Encyclopedia of Philosophy，SEP）的链接。这些链接可以从http://hlt.bme.hu/semantics/external获取。在给出一个术语的正式定义之前，我们可能会非正式地使用这个术语。本书中所使用的符号约定不一定与上述链接中的一致，例如，我们使用
虽然本书涉及的技术资料多种多样，但是这种多样性将包含在统一的方法论中。哲学和逻辑学经常以这种规范的方式处理问题，即避免使用“不合逻辑”的用法形式，并且设计仅支持一致逻辑的理想语言。这种规范的观念也对计算机科学产生了很大影响。在计算机科学中，人们可以借助正则文法定义一门正则语言，并通过诸如yacc之类的标准软件工具将其与成分语义学相联系。本书关注的是如何为自然语言表达构建可操作的语义学（我们所说的“可操作”是指可以编码成计算机程序），并且在实际使用中对该理论进行测试。
本书包含许多练习，这些练习大多相当简单（在Knuth（1971）的书中低于30级），但往往含义深刻（如舒尔引理）。这些练习的答案大部分可以在网上找到，有些甚至往后多读几页就能找到答案，但强烈建议想要深入了解这些领域的读者自己完成练习。一些练习（用°标记）的目标是检验读者是否理解了书中的内容，建议读者遇到这些练习时立即解决，而不是等到章节结束。有些练习（用→标记）涉及本书未包含的内容，依赖额外的知识或预设，因此解决起来比较困难。不过，还是建议读者尝试一下这些练习（可以参考本书结尾处提供的练习提示）。对于更难的练习（用*标记），其答案直接在这些练习后续的章节中给出。还有一些练习，特别是在靠后的章节中，会用?标记，表示这个问题的答案不是唯一的。对于这类问题，读者应当通过实验来解决，即使用正则模型或者计算模型来计算得到正确的结果。定义、练习、表格、图片和公式均按章编号。
楷体字用来表示第一次出现的技术术语，以及用来表示强调。4lang计算系统包含一个概念词典（concept dictionary），它最初包括四种语言，这四种语言是欧洲主要语系的代表，包括日耳曼语系（英语）、斯拉夫语系（波兰语）、罗曼语系（拉丁语）和芬兰–乌戈尔语系（匈牙利语）。如今，4lang计算系统已经包含40多种语言（ács、Pajkossy和Kornai，2013）。出现在4lang词典中的条目、术语、内容等，将会标记为Courier font（代码体）。
每章都给出了扩展阅读。一般来说，我们会在扩展阅读部分推荐首次提出某个想法的论文和书籍。由于本书讨论的许多问题背后都有几十年甚至几百年的相关研究，相对于那些只引用最新研究成果的书籍而言，本书可能看起来很过时。但是我们认为引用经典的研究是有必要的，不仅是出于对这些研究的尊敬，而且因为早期研究得到的一些观点和见解，在后来的研究中可能不经过讨论而直接使用（但对于再版的专著和教科书，我们引用的是最新版本，因为再版的质量往往更好，而且更容易获得）。然而，早期的一些研究往往只有纸质版本，需要去图书馆才能获取和阅读。鉴于读者越来越倾向检索电子研究资料，因此本书提供了在线参考链接，但不像Project MUSE和JSTOR那样需要密码才能访问。
致谢
前几章中介绍的一些内容首先出现在三篇论文中（Kornai等，2010、2010a和2012）。在这里，也向对这几篇论文提出意见的人表示感谢，特别是Tibor Beke（马萨诸塞大学）、Zoltán Szabó（耶鲁大学）、Terry Langendoen（亚利桑那大学）、Donca Steriade（麻省理工学院）、Károly Varasdi（杜塞尔多夫大学）等。第8章主要基于Kornai（2014c和2014d）首次提到的内容，在这里我们也对Tibor Beke和Peter Vida（曼海姆大学）对这两篇文章的评论表示感谢。
本书得到了OTKA grant #77476的支持，以及欧洲联盟和欧洲社会基金（European Social Fund）通过FuturICT.hu项目（grant#TAMOP 4.2.2.C-11/1/KONV-2012-0013）提供的支持。一些内容是在哈佛大学IQSS、波士顿大学计算机科学系和Hariri研究所、布达佩斯技术与经济大学（BUTE）代数系和匈牙利科学院语言学研究所（HAS RIL）完成的，但大部分的工作是在计算机科学研究所（HAS CS）完成的。
特别感谢本书早期版本的读者，他们发现了许多拼写和文体上的错误，提供了高质量的参考资料、练习和练习提示，并且在自己擅长的专业领域提出了精辟的建议。他们是Juditács（BUTE AUT）、Eric Bach（威斯康星大学麦迪逊分校）、Michael Covington（佐治亚大学）、Gérard Huet（法国国家信息与自动化研究所）、Paul Kay（加州大学伯克利分校）、Marcus Kracht（比勒费尔德大学）、Márton Makrai（HAS RIL）、András Máté（罗兰大学逻辑学系）、Imre Orthmayr（罗兰大学哲学系）、Katalin Pajkossy（BUTE）、Gábor Recski（BUTE AUT）、András Simonyi（PPKE）、Ferenc Takó（罗兰大学哲学系）、Madeleine Thompson（Empirical）和Attila Zséder（Lensa）。当然，他们并不认同书中的一切观点。本书所表达的观点都是我本人的，而不是某一机构的，所有的错误和遗漏都归因于我自己。
我要特别感谢Springer的校对员Douglas Meekison，他通过重新调整逗号的位置和添加介词，将原本较口语化的手稿转化为严谨的学术语言，并且调整排版使得打印结果更清晰。也要感谢编辑Ronan Nugent，他让原本痛苦的出版过程成为一种享受。
本书的主要参与者是Gábor Borbély（BUTE）、Márton Makrai（HAS RIL）、Dávid Nemeskey（HAS CS）、Gábor Recski（BUTE AUT）和Attila Zséder。基于本书的内容，我在BUTE上过两次课，分别是2010年春和2014年秋，在这里也要对当时的很多学生表示感谢，包括Kara Greenfield（现在在麻省理工学院林肯实验室工作）、Sarah Judd（现在在Girls Who Code工作）和Dániel Vásárhelyi（HAS RIL）。
人工智能\自然语言处理
本书采用创新方法来解决一系列传统问题，这些问题都涉及语言的意义。作者的研究牢牢扎根于关于这些问题的大量文献中。全书在数学上尤为严谨，而且表述清楚，非数学专业的读者也能理解。强烈推荐正在从事或有意从事自然语言语义方面工作的学者阅读本书。
—— Jerry R. Hobbs，南加州大学教授
本书以鲜明的跨学科特色而有别于其他语义学书籍，书中全面呈现了语言学、计算机科学、哲学和认知科学的观点。我预计该领域在未来几年将发生重大变化，因此，现在有必要帮助学生掌握广泛的基础知识，这样，将来他们才有可能实现更智能的语义处理。
—— Hinrich Schütze，慕尼黑大学教授
在本书出现之前，很少有人意识到形式化Eilenberg机器的优雅。过去，人们一直在使用笨拙的有限状态机进行教学，而没有使用关系概念。作者对许多问题的看法非常专业，他所具有的敏锐观察力以及富有独创性且生动的表达能力都令人敬佩。
—— Gérard Huet，法国国家信息与自动化研究所研究员
语义学是语言学的重要基石，研究对象是自然语言的意义，包括词、短语、句子、篇章等不同级别的语言单位，研究的目的在于探索语义表达的规律性、内在解释、跨语言或多语种在语义表达上的个性和共性。语义学涉及计算机科学、自然语言处理和理解、逻辑学、认知科学、心理学等，是诸多学科共性理论的重要组成部分。其中，自然语言处理和理解的核心任务为基于语义等价的分析、理解和语言生成，是人工智能最核心的技术之一。
伴随语义学的发展，产生了很多分支，包括结构主义语义学、生成语义学、形式语义学、词汇语义学、逻辑语义学、语篇语义学、认知语义学、心理语义学等。
形式语义学随着计算机技术和形式语言的发展而形成，对符号进行形式化的描述，利用规则集合和属性文法对语义做出精确的定义和解释，并使用数学建模和程序进行科学计算和分析，针对不同的任务进行等价的语义转换。它强调语义解释和句法结构的统一，是生成语言学中语义学的重要分支，也是理论语言学与计算语言学之间的桥梁。
自然语言处理技术和词汇语义学、逻辑语义学、语篇语义学等相互促进，相得益彰。近年来，数据驱动的深度学习技术对自然语言处理技术的发展起到了巨大的促进作用，在诸如机器翻译、知识图谱及其应用、机器阅读理解、自动问答、人机交互等领域都取得了很大的进展。但是，仍遗留诸多问题未能解决，如清华大学孙茂松教授指出的自然语言处理所面临的三大难题：其一，形式化知识系统存在明显的构成缺失；其二，深层结构化语义分析存在明显的性能不足；其三，跨模态语言理解存在明显的融通局限。因此，为了解决上述问题，深入研究、发展和完善语义学的理论体系，具有重要的指导意义和实用价值。
本书的内容主要包括语义学的数学基础、预述法、图形和机器、表型语法、词素、模型、具体化和人工生命的意义等，每一章都包含丰富的内容，尤其是在第8和第9章中，针对认知能力、道德哲学、道德法则的经验基础等方面，从语义语用学的角度给出深入浅出的探讨，值得读者回味。
我们坚信，深入研究、探讨和完善语义学的相关理论，将进一步弥补形式化知识系统所存在的缺陷，有效缓解深层结构化语义分析存在不足等问题，进一步推动自然语言处理和人工智能技术的发展和进步。
本书由北京交通大学计算机与信息技术学院语言智能与大数据处理研究所徐金安教授组织翻译。徐教授长期从事自然语言处理和机器翻译研究领域的教学和科研工作，在该领域取得了丰硕的成果。参与的译者都是徐金安教授团队研究组的核心成员，在该领域有一定的研究基础和经历。在此，感谢陈钰枫老师、黄辉、殷丽、梁晓珂、赖思羽、刘萍萍、李思琪、杨小兰、刘淑馨、李佳芮和林群凯所做的工作。
由于译者水平有限，加之翻译时间仓促，译文中难免存在错误，欢迎读者批评指正，以便于将来修正。译者的邮箱地址是jaxu@bjtu.edu.cn。
2021年10月
于北京
译者序
前言
第1章 引言 1
1.1 语义合成性和语境性 1
1.2 选择主题 3
1.3 信息内容 5
1.4 本书内容概览 7
1.5 阅读计划建议 9
1.6 扩展阅读 12
第2章 线性空间、布尔代数和一阶逻辑 15
2.1 代数和布尔代数 15
2.2 泛代数 18
2.3 滤子、超滤子和超积 19
2.4 命题演算 22
2.5 一阶公式 27
2.6 证明理论 29
2.7 多元统计 32
2.8 扩展阅读 41
第3章 预述法 43
3.1 理解 44
3.2 最小化理论 47
3.3 空间和时间 49
3.4 心理学 54
3.5 规则 56
3.6 规律 60
3.7 标准理论 64
3.8 必需条件 68
3.9 连续的向量空间模型 72
3.10 扩展阅读 77
第4章 图形和机器 79
4.1 抽象有限计算 79
4.2 形式语法 85
4.3 最小的机器 93
4.4 图形和机器操作 94
4.5 词素 97
4.6 内部语法 102
4.7 扩展阅读 107
4.8 附录：定义词 108
第5章 表型语法 112
5.1 层次结构 113
5.2 形态学 115
5.3 句法 121
5.4 依赖关系 131
5.5 代表知识和意义 137
5.6 头脑中的想法 141
5.7 语用学 145
5.8 估值 152
5.9 扩展阅读 155
第6章 词素 157
6.1 词条 158
6.2 概念 160
6.3 词汇类别 164
6.4 字义 167
6.5 正式模型 175
6.6 词素的语义 178
6.7 扩展阅读 180
第7章 模型 182
7.1 原理推论 182
7.2 外部模型 186
7.3 情态 190
7.4 量化 197
7.5 扩展阅读 200
第8章 具体化 202
8.1 认知能力 203
8.2 行为 209
8.3 副词 215
8.4 扩展阅读 217
第9章 人工生命的意义 219
9.1 道德哲学 220
9.2 道德法则的经验基础 223
9.3 元理论注意事项 227
9.4 正式模型 230
9.5 总结与结论 232
9.6 扩展阅读 234
部分练习提示 235
部分练习解答 236
参考文献 237
