本书从全新的视角诠释了机器学习的基本模型和算法，重点讨论了当前的两项研究热点——神经网络和核方法。全书紧紧围绕从环境约束中学习的概念，将符号知识库作为约束集合，通过采用多值逻辑形式的思想，实现了约束方法与机器学习的深度融合。特别是对深度学习的讲解，很好地呈现了本书中所遵循的基于约束的方法。此外，本书还提供不同难度等级的练习及参考答案，适合高等院校计算机相关专业的学生参考，也适合业界研究人员和技术人员阅读。

无

机器学习代表我们在技术层面对理解人类智能本质的期望。因为在计算机这一领域机器学习无法被完全解释，因此它并不是对人类模式的一种巧妙的仿真。虽然深入了解神经科学的奥秘可能会激发出关于智能背后的计算智能的全新想法，但是现阶段大多数机器学习的进步都依赖根植于数学的模型和相应的计算机实现。尽管脑科学可能会继续朝着与人工计算方案结合的方向前进，但我们依然可以合理地推测，认知产生的基础不一定要在生物解决方案的惊人复杂性中进行探索，而主要是在更高层次的计算规律中探索。支持不同认知形式的生物学方案实际上与支持其他基本生命功能（如新陈代谢、生长、体重调节和压力反应）的平行需求密切相关。然而，无论这种复杂的环境如何，大多数类人类智能的过程都可能出现。人们可能会怀疑这些过程是基于信息认知规律的，而这些规律与生物学并无关系。有明确的证据证明在特定的认知任务中存在这种不变性，但是人工智能的挑战每天都在扩大这些任务的范围。虽然没有人会对数学和逻辑运算中的计算能力感到惊讶，但是外行并不十分清楚这些游戏上的挑战的结果。事实上，它们通常被认为是智能的独特标志。而且很明显的是，游戏已经由计算机程序开始主导。Sam Loyd 的15谜问题和魔方是计算机程序在解谜游戏中非常成功的例子。还有最近的国际象棋和围棋，在这些领域机器打破了人类智能的统治地位。不过，对于许多在语言、视觉和运动控制方面的认知能力，现阶段的机器学习仍然很难实现。
本书提供了一个统一的学科视图，该学科将环境建模为满足智能体期望的约束条件的集合，将读者带入机器学习的迷人领域。几乎所有在机器学习中面临的任务都可以在这个数学框架下建模。线性和线性阈值机、神经网络和核方法通常被认为是需要软性满足对应于训练集的一组逐点约束的自适应模型。在功能和经验形式中，经典的风险都可以看作软约束系统中最小化的惩罚函数。无监督学习可以给出类似的公式，其中惩罚函数在某种程度上提供了对数据概率分布的解释。基于信息的索引可用于提取无监督的特征，并且可以将它们明确地视为实施软约束的一种方式。然而，智能体可以从在某种逻辑形式主义中给出的抽象知识粒子中获益。虽然人工智能在知识表示和自动推理领域已经很成熟，但是根植于逻辑的基础理论导致模型不能与机器学习紧密结合。将符号知识库作为约束集合的同时，本书开辟了与机器学习深度融合的道路，这种机器学习依赖于采用多值逻辑形式的思想，如模糊系统。值得注意的是，深度学习非常适用于本书中所采用的基于约束的方法。最近深度学习在代表性问题和学习方面的一些基本成就，加上对并行计算的适当利用，已经为世界各地相关领域的高科技公司的发展创造了梦幻般的催化剂。在本书中我尽自己所能，在受约束的环境框架中揭示深度学习的力量及深度学习的解释。在这样做的过程中，我希望能够激发读者去学习适当的背景知识，以便能够快速掌握之后的创新。
在整本书中，我希望读者能够充分参与到这门学科中，以便形成自己的观点，而不仅仅是融入他人所提供的框架。本书为机器学习的基本模型和算法提供了一种令人耳目一新的方法，其中对约束的关注很好地模糊了有监督、无监督和半监督学习之间的经典差异。以下是本书的一些特点：
 这是一本概述性的书籍，适合所有希望对基本概念有深入理解的读者。
 本书旨在提出问题并帮助读者逐步学习基本方法，而不仅仅是提供“烹饪食谱”。
 本书提出采用约束的概念，作为对现今最常见的机器学习方法的真正统一的处理方式，同时结合在AI社区中占主导地位的逻辑形式主义的力量。
 根据 Donald Knuth 难度排名（略微修改），书中包含了很多练习题，并且提供了答案。
本书是为具有数学和计算机科学基础背景的读者准备的。更多更新的主题可参照附录。强烈建议读者用批判性的思维来阅读，并通过练习题来巩固相关概念。建议读者先独立完成这些题目，再查阅书后的“练习答案”。在撰写本书时，我的主要目标是让读者感受到和创造者一样的兴奋，并用这种方式来呈现概念和结果。读者不仅仅是被动阅读，还应该充分参与该学科并积极学习。如今，人们可以快速地学习基础知识，并开始部署常见的机器学习主题，这归功于有着精美插图和精彩模拟的网络资源。这些资源为想要进入该领域的人提供了便捷且有效的支持。这些网络资源爆炸性增长并且可以快速用于应用程序开发，因此一本关于机器学习的书很难与其竞争。但如果你想更深刻地理解该学科，那么必须将注意力转移到基础上，并将更多的时间花在可能适用于实际应用中的许多算法和技术解决方案的基本原则上。撰写本书的重要目标就是提出基本的思想，并提供一个统一的以基于信息的学习法则为中心的观点。本书雏形主要源自在锡耶纳大学的硕士和博士课程中收集的材料，之后用我自己在环境约束的统一概念下的可解释学习的观点逐渐丰富了它。考虑到网络资源如此充足，本书可以作为硕士生学习机器学习知识的教科书，也可以用于补充模式识别、数据挖掘和相关学科的课程。本书的某些部分更适合博士生的课程。另外，一些练习题实际上是对研究问题的认真选择，这些问题对博士生来说是一个挑战。虽然本书主要是为计算机专业的学生设计的，但其整体组织和主题的涵盖方式可能会激发物理和数学专业学生的兴趣。
在撰写本书的过程中，我不断受到激励，因为我对该领域的知识充满渴望，同时也不断面对以统一的方式审视和处理主要原则的挑战。我接触了该领域的大量文献，发现自己曾经忽略了不少非凡的想法和技术进展。我学到了很多，并在反复研究这些想法和成果的过程中感到欣喜。希望读者在阅读本书时能够体验到同样的感受。
致谢
我要感谢在编撰本书的过程中帮助过我的人。感谢所有以不同方式教导我如何找到事物内在原因与逻辑的人。很难将他们的名字列出一份清单，但是他们的教导的确让我越来越渴望理解人工智能并研究和设计智能机器，这份渴望就好比本书的种子。我所写的大部分内容都来自讲授机器学习的硕士和博士课程，以及在过去数十年中与锡耶纳大学人工智能实验室的同事和同学不断推敲的想法和讨论。与C Lee Giles、Ah Chung Tsoi、Paolo Frasconi和Alessandro Sperduti的许多有见地的讨论有助于改正我对循环神经网络的看法，例如本书中提出的扩散机。你可以发现我在本书中提到的关于约束学习的观点也已经逐渐被证明，这要感谢与Marcello Sanguineti、Giorgio Gnecco和Luciano Serafini的合作。对基准的批判，以及众包评价方案的建议，都要归功于Marcello Pelillo和Fabio Roli，他们与我合作组织了一些关于这个主题的项目。 我很感激Patrick Gallinari邀请我参加2016年夏天在巴黎第六大学举办的夏季研讨会，那里的环境极大地激励了我去撰写本书。我在研讨会的后续工作引发了实验室同事和学生的深刻讨论。与Stefan Knerr的合作极大地影响了我对机器学习在自然语言处理中的作用的看法。本书中涉及的大多数高级主题都得益于他对机器学习在会话代理中的作用的长期愿景。我还受益于Beatrice Lazzerini和Francesco Giannini对本书某些部分的准确检查和建议。
Alessandro Betti的贡献特别值得一提，他细致深入的阅读使这本书发生了翻天覆地的变化。他不仅发现了一些错误，而且还提出了替代演示文稿的一些建议，以及对基本概念的相关解释。本书中包含的许多以研究为导向的练习也经过了长时间的激烈讨论。最后，他对LATEX排版的建议和支持也非常有用。
感谢Lorenzo Menconi和Agnese Gori分别为封面和开篇章节提供的精美图片。最后，感谢Cecilia、Irene和Agnese在周末工作期间容忍了我随意的想法，以及他们对一个将笔记本电脑随时携带在身边的“半机械人”的容忍。
阅读指南
书中的大部分章节都是自成一体的，因此，你可以在不读前三章的情况下，开始阅读关于核方法的第4章或者关于深层结构的第5章。尽管第6章讨论更高级的主题，但它可以独立于书中其余部分来阅读。第1章为读者提供了关于本书主要主题的快速讨论。第2章在第一次阅读时也可以被忽略，它提供了关于学习原则的一般框架，这无疑有助于对后续主题进行深入分析。最后，从关于线性和线性阈值机的第3章开始阅读可能是学习机器学习基础最简单的方法。第3章的内容不仅具有历史意义，而且对深入理解架构和学习问题是非常重要的，这对于其他更复杂的模型来说是很难实现的。书中的高级主题是由“险弯”和“双险弯符号”来表示的：

研究主题将用“在研”符号来表示：

Marco Gori
锡耶纳，2017年7月

计算机/机器学习

这本书非常有趣，从广义的视角对机器学习和深度学习进行了全新的解读，其中学习对应于满足约束条件，包括感知约束和符号约束，以及软约束和硬约束。
——Yoshua Bengio，蒙特利尔大学，图灵奖得主
机器学习是整个领域的真正动力，发展非常迅速，并且正在不断重塑当今的智能科学和工程。本书将带领你进入机器学习的迷人世界。
——Tomaso Poggio，麻省理工学院
本书从基于约束的视角讨论机器学习和深度学习，内容全面且新颖，相信读者一定能感受到蕴藏在字里行间的智慧。
——Pierre Baldi，加州大学尔湾分校

本书特色
采用约束的概念，将当前常见的机器学习方法真正融入统一的视角，同时结合在AI社区中占主导地位的逻辑形式主义的力量。
深入探讨无监督学习和半监督学习，重点是当前的两项研究热点——神经网络和核方法，对于深度学习的讨论尤其值得一读。
配有大量练习及答案，并根据Donald Knuth的难度排名进行分级，通过问题帮助读者理解知识，而不仅仅是提供“烹饪菜谱”。

作者简介
马可·戈里（Marco Gori）　意大利锡耶纳大学教授，专注于人工智能领域，特别是机器学习和游戏。他是IEEE Fellow、ECCAI Fellow、IAPR Fellow，目前担任IEEE计算智能协会意大利分会主席，意大利人工智能协会主席。此外，他还是Web Dragons: Inside the Myths of Search Engine Technology一书的作者。
译者简介
谢宁　电子科技大学计算机科学与工程学院副教授，四川省特聘专家。研究兴趣包括统计机器学习、计算机图形学，研究领域包括强化学习、行为智能、游戏智能、艺术化绘制等。

[意大利]马可·戈里（Marco Gori） 著：---作者简介---
马可·戈里（Marco Gori） 意大利锡耶纳大学教授，专注于人工智能领域，特别是机器学习和游戏。他是IEEE计算智能协会意大利分会主席，意大利人工智能协会主席。此外，他还是Web Dragons: Inside the Myths of Search Engine Technology一书的作者。

---译者简介---
谢宁 电子科技大学计算机科学与工程学院副教授，四川省特聘专家。研究兴趣包括统计机器学习、计算机图形学，研究领域包括强化学习、行为智能、游戏智能、艺术化绘制等。

机器学习是计算机科学的重要分支之一，旨在研究原理、算法以及能够像人类一样学习的系统的应用。同时，其亦是一门交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。机器学习作为人工智能的核心部分，是计算机获得智能的根本途径，其应用遍及人工智能的各个领域，发挥着不可替代的重要作用。
本书是锡耶纳大学机器学习领域的领军人物Marco Gori的力作。全书致力于讲解机器学习技术的数学背景及多种实用算法，涵盖概念、技术及应用等方面，结构清晰、内容丰富、案例翔实。通过对本书的学习，读者可以了解机器学习的基本概念和知识，同时培养机器学习的基本技能。阅读本书需要了解计算机科学、概率论与统计学等相关基础知识，本书适用于计算机及相关专业本科生、研究生以及相关领域的研究人员和专业技术人员。
本书翻译工作得到了课题组成员的鼎力支持和大力协作。谢宁作为本次翻译活动的倡议者和联络人，负责翻译的统筹工作，并帮助分析、修改翻译中的难点。前言部分由万鑫、蔡羿负责翻译，第1章由肖竹负责翻译，第2章由王国宇负责翻译，第3章由杜云飞负责翻译，第4、5、6章由罗宇轩负责翻译，第7章由朱可意负责翻译，第8章由李康负责翻译，附录部分由周润珂、杜镇江负责翻译。此外，在翻译组内部审校阶段，谢宁担任内部审校总负责人，罗宇轩、杜云飞担任内部审校主要负责人。
本书中文版能够出版发行，首先要感谢本书的作者Marco Gori，是他为我们奉献了一本好书。其次要感谢机械工业出版社华章分社引进了本书的中文版权，使得我们能够获得翻译此书的机会，并实现将其介绍给国内广大读者的良好愿望。此外特别感谢曲熠编辑以及所有为此书的出版做出贡献的排校人员，是他们的辛勤劳动才使本书能够付梓出版，在此表示衷心的感谢和崇高的敬意。
本书对原著的一些错误做了修正，在难懂或需要提醒的地方添加了一些译者说明。尽管我们在翻译过程中力图做得更好，但因个人的专业水平、英文水平乃至中文文学水平的限制，以及翻译过程中的疏漏，可能使得本书中文版中存在错误、不足和不当之处。热切期望读者对本书提出宝贵意见、建议和勘误，并欢迎与我们联系（seanxiening@gmail.com)。

谢宁
2020年4月

译者序
前言
练习说明
第1章整体情况
11为什么机器需要学习
111学习任务
112环境的符号和子符号表示
113生物和人工神经网络
114学习的协议
115基于约束的学习
12原则和实践
121归纳的令人困惑的本质
122学习原则
123时间在学习过程中的作用
124注意力机制的聚焦
13实践经验
131度量实验的成功
132手写字符识别
133建立机器学习实验
134试验和实验备注
14机器学习面临的挑战
141学习观察
142语言理解
143生活在自己环境中的代理
15注释
第2章学习原则
21环境约束
211损失函数与风险函数
212约束引发的风险函数的病态
213风险最小化
214偏差——方差困境
22统计学习
221最大似然估计
222贝叶斯推理
223贝叶斯学习
224图形模式
225频率论和贝叶斯方法
23基于信息的学习
231一个启发性的示例
232最大熵原理
233最大相互信息
24简约原则下的学习
241简约原则
242最小描述长度
243MDL与正则化
244正则化的统计解释
25注释
第3章线性阈值机
31线性机
311正规方程
312待定问题和广义逆
313岭回归
314原始表示和对偶表示
32包含阈值单元的线性机
321谓词阶数和表示性问题
322线性可分示例的最优性
323无法分离的线性可分
33统计视图
331贝叶斯决策和线性判别分析
332逻辑回归
333符合贝叶斯决策的独立原则
334统计框架中的LMS
34算法问题
341梯度下降
342随机梯度下降
343感知机算法
344复杂性问题
35注释
第4章核方法
41特征空间
411多项式预处理
412布尔富集
413不变的特征匹配
414高维空间中的线性可分性
42最大边际问题
421线性可分下的分类
422处理软约束问题
423回归
43核函数
431相似性与核技巧
432内核表征
433再生核映射
434内核类型
44正则化
441正则化的风险
442在RKHS上的正则化
443最小化正则化风险
444正则化算子
45注释
第5章深层结构
51结构性问题
511有向图及前馈神经网络
512深层路径
513从深层结构到松弛结构
514分类器、回归器和自动编码器
52布尔函数的实现
521“与或”门的典型实现
522通用的“与非”实现
523浅层与深层实现
524基于LTU的实现和复杂性问题
53实值函数实现
531基于几何的计算实现
532通用近似
533解空间及分离表面
534深层网络和表征问题
54卷积网络
541内核、卷积和感受野
542合并不变性
543深度卷积网络
55前馈神经网络上的学习
551监督学习
552反向传播
553符号微分以及自动求导法则
554正则化问题
56复杂度问题
561关于局部最小值的问题
562面临饱和
563复杂性与数值问题
57注释
第6章约束下的学习与推理
61约束机
611学习和推理
612约束环境的统一视图
613学习任务的函数表示
614约束下的推理
62环境中的逻辑约束
621形式逻辑与推理的复杂度
622含符号和子符号的环境
623t范数
624ukasiewicz命题逻辑
63扩散机
631数据模型
632时空环境中的扩散
633循环神经网络
64算法问题
641基于内容的逐点约束
642输入空间中的命题约束
643线性约束的监督学习
644扩散约束下的学习
65终身学习代理
651认知行为及时间流动
652能量平衡
653焦点关注、教学及主动学习
654发展学习
66注释
第7章结语
第8章练习答案
附录A有限维的约束优化
附录B正则算子
附录C变分计算
附录D符号索引
参考文献（在线）
可以访问华章图书官网http://www.hzbook.com，通过注册并登录个人账号下载。——编辑注