本书对机器学习的定义和应用实例进行了介绍，涵盖了监督学习、贝叶斯决策理论、参数方法、多元方法、维度归约、聚类、非参数方法、决策树、线性判别式、多层感知器、局部模型、隐马尔可夫模型、分类算法评估和比较、组合多学习器以及增强学习等。最新的第2版增加了三章内容，分别是核机器、图模型、贝叶斯估计，扩展了统计测试的内容，教学案例可以从本书配套网站下载。
机器学习导论
（原书第2版）
Introduction to Machine Learning Second Edition
（土耳其）Ethem Alpaydin 著 范明 昝红英 牛常勇 译
机器学习的目标是对计算机编程，以便使用样本数据或以往的经验来解决给定的问题。机器学习已经有许多成功应用，包括分析以往销售数据来预测客户行为，优化机器人的行为以便使用最少的资源来完成任务，以及从生物信息数据中提取知识的各种系统。本书是关于机器学习这一主题内容全面的教科书，涵盖了通常在机器学习导论中并不包括的广泛题材。为了对机器学习问题和解进行统一的论述，本书讨论了源自不同领域的多种方法，包括统计学、模式识别、神经网络、人工智能、信号处理、控制和数据挖掘。书中对所有学习算法都进行了解释，以便读者可以轻易地将书中的公式转变为计算机程序。本书可用作高年级本科生或硕士研究生的教材，也可作为关注机器学习方法应用的专业人员的参考书。
第2版新增内容
各章都进行了改写和更新，新增了核机器（第13章）、贝叶斯估计（第14章）和图模型（第16章）内容。
在机器学习实验的设计和分析一章（第19章）中扩展了统计检验的内容。
在本书配套网站（http://www.cmpe.boun.edu.tr/~ethem/i2ml2e/）上提供了PPT、勘误等。
增加了一些习题。
作者简介
Ethem Alpaydin 土耳其伊斯坦布尔博阿齐奇大学（Bogazi?i University）计算机工程系教授。他于1990年在瑞士洛桑联邦理工学院获博士学位，1991年在加州大学伯克利分校国际计算机研究所（ICS, UC Berkeley）做博士后工作；之后作为访问学者，先后在美国麻省理工学院、加州大学伯克利分校国际计算机研究所、瑞士戴尔莫尔感知人工智能研究所(IDIAP)从事研究工作。他是土耳其科学院院士，IEEE高级会员，牛津大学出版社《The Computer Journal》杂志编委和Elsevier出版社《Pattern Recognition》杂志副主编。
机器学习使用实例数据或过去的经验训练计算机，以优化性能标准。当人们不能直接编写计算机程序解决给定的问题，而是需要借助于实例数据或经验时，就需要学习。一种需要学习的情况是人们没有专门技术，或者不能解释他们的专门技术。以语音识别，即将声学语音信号转换成ASCII文本为例。看上去我们可以毫无困难地做这件事，但是我们却不能解释我们是如何做的。由于年龄、性别或口音的差异，不同的人读相同的词发音却不同。在机器学习中，这个问题的解决方法是从不同的人那里收集大量发音样本，并学习将它们映射到词。
另一种需要学习的情况是要解决的问题随时间变化或依赖于特定的环境。我们希望有一个能够自动适应环境的通用系统，而不是为每个特定的环境编写一个不同的程序。以计算机网络上的包传递为例。最大化服务质量的、从源地到目的地的路径随网络流量的改变而改变。学习路由程序能够通过监视网络流量自动调整到最佳路径。另一个例子是智能用户界面，它能够自动适应用户的生物特征，即用户的口音、笔迹、工作习惯等。
机器学习在各个领域都有许多成功的应用：已经有了识别语音和笔迹的商用系统。零售商分析他们过去的销售数据，了解顾客行为，以便改善顾客关系管理。金融机构分析过去的交易，以便预测顾客的信用风险。机器人学习优化它们的行为，以便使用最少的资源来完成任务。在生物信息学方面，使用计算机不仅可以分析海量数据，而且还可以提取知识。这些只是我们（即你和我）将在本书讨论的应用的一部分。我们只能想象一下可使用机器学习实现的未来应用：可以在不同的路况、不同的天气条件下自己行驶的汽车，可以实时翻译外语的电话，可以在新环境（例如另一个星球的表面）航行的自动化机器人。机器学习的确是一个令人激动的研究领域！
本书讨论的许多方法都源于各种领域：统计学、模式识别、神经网络、人工智能、信号处理、控制和数据挖掘。过去，这些不同领域的研究遵循不同的途径，侧重点也不同。本书旨在把它们组合在一起，给出问题的统一处理并提供它们的解。
本书是一本入门教材，用于高年级本科生和研究生的机器学习课程，以及在业界工作、对这些方法的应用感兴趣的工程技术人员。预备知识是计算机程序设计、概率论、微积分和线性代数方面的课程。本书的目标是充分解释所有的学习算法，使得从本书给出的方程到计算机程序只是一小步。为了使这一任务更容易完成，对于某些情况，我们给出了算法的伪代码。
适当选取一些章节，本书可用作一学期的课程。再额外讨论一些研究论文的话，本书也可以用作两学期的课程，这时每章后的参考文献将很有用。
本书网页为http://www.cmpe.boun.edu.tr/~ethem/i2ml/，我将在那里提供一些与本书有关的信息，如勘误表。我真诚地欢迎你将反馈意见发到我的邮箱：alpaydin@boun.edu.tr。
我非常喜欢写这本书，希望你能喜欢读它。
计算机\人工智能
机器学习的目标是对计算机编程，以便使用样本数据或以往的经验来解决给定的问题。机器学习已经有许多成功应用，包括分析以往销售数据来预测客户行为，优化机器人的行为以便使用最少的资源来完成任务，以及从生物信息数据中提取知识的各种系统。本书是关于机器学习这一主题内容全面的教科书，涵盖了通常在机器学习导论中并不包括的广泛题材。为了对机器学习问题和解进行统一的论述，本书讨论了源自不同领域的多种方法，包括统计学、模式识别、神经网络、人工智能、信号处理、控制和数据挖掘。书中对所有学习算法都进行了解释，以便读者可以轻易地将书中的公式转变为计算机程序。本书可用作高年级本科生或硕士研究生的教材，也可供关注机器学习方法应用的专业人员的参考书。
第2版新增内容
各章都进行了改写和更新，新增了核机器（第13章）、贝叶斯估计（第14章）和图模型（第16章）内容。
在机器学习实验的设计和分析一章（第19章）中扩展了统计检验的内容。
在本书配套网站（http://www.cmpe.boun.edu.tr/~ethem/i2ml2e/)上提供了PPT、勘误等。
增加了一些习题。
范明 昝红英 牛常勇 译：暂无简介
自从有计算机以来，人们就希望计算机能够学习。然而，机器学习真正取得实质性进展，能够成功地解决一些实际问题，并最终成为一个学科分支还是近20余年的事。
对于许多问题，我们的前人和先行者已经知道如何求解。例如，欧几里得告诉我们可以用辗转相除法求两个整数的最大公约数；Dijkstra告诉我们如何有效地求两点之间的最短路径；Hoare向我们展示了怎样将杂乱无章的对象快速排序……对于这些问题，我们清楚地知道求解步骤。因此，让计算机求解这些问题只需要设计算法和数据结构、进行编程，而不需要让计算机学习。
还有一些问题，人们可以轻而易举地做好，但是却无法解释清楚我们是如何做的。例如，尽管桌子千差万别、用途各异，但是我们一眼就能看出某个物体是否是桌子；尽管不同的人的手写阿拉伯数字大小不一、笔画粗细不同，但是我们还是可以轻易识别一个数字是不是8；尽管声音时大时小，有时可能还有点沙哑，但是我们还是可以不费力气地听出熟人的声音。诸如此类的例子不胜枚举。对于这些问题，我们不知道求解步骤。因此，让计算机来做这些事就需要让计算机学习。
我们知道桌子不是木材和各种材料的随机堆砌，手写数字不是像素的随机分布，熟人的声音也不是各种声波的随机混合。现实世界总是有规律的。机器学习正是从已知实例中自动发现规律，建立对未知实例的预测模型；根据经验不断提高，不断改进预测性能。
这是一本全面论述机器学习这一主题的教科书，适合作为高等院校计算机相关专业高年级本科生和研究生机器学习入门课程的教材。该书涵盖了监督学习、贝叶斯决策理论、参数方法、多元方法、维度归约、聚类、非参数方法、决策树、线性判别式、多层感知器、局部模型、隐马尔可夫模型、分类算法评估和比较、组合多学习器以及增强学习。作者对来自统计学、模式识别、神经网络、人工智能、信号处理、控制和数据挖掘等不同领域的机器学习问题和学习方法进行了统一论述。
第2版从16章扩展到19章，除增加3章外，对许多章节都进行了改写和扩充，以便反映机器学习的新进展。尤其是，核方法、贝叶斯估计和图模型这三个在第1版只用几节介绍的主题都各自扩充成了一整章，进行了更深入的讨论。此外，第2版还更加全面地介绍了机器学习实验的设计与分析，这在同类书籍中是独具特色的。
第2版由范明翻译。昝红英（第1~6章）和牛常勇（第15、17和18章）参加了第1版的翻译。原书作者Ethem Alpaydin为第2版的中文版重新写了序。
译文中的错误和不当之处，敬请读者朋友指正。意见和建议请发往mfan@zzu.edu.cn，我们不胜感激。
范 明
2013冬于郑州大学
出版者的话
中文版序
译者序
前言
致谢
关于第2版
符号表
第1章 绪论1
1.1 什么是机器学习1
1.2 机器学习的应用实例3
1.2.1 学习关联性3
1.2.2 分类3
1.2.3 回归6
1.2.4 非监督学习7
1.2.5 增强学习8
1.3 注释8
1.4 相关资源10
1.5 习题11
1.6 参考文献12
第2章 监督学习13
2.1 由实例学习类13
2.2 VC维15
2.3 概率逼近正确学习16
2.4 噪声17
2.5 学习多类18
2.6 回归19
2.7 模型选择与泛化21
2.8 监督机器学习算法的维23
2.9 注释24
2.10 习题25
2.11 参考文献25
第3章 贝叶斯决策定理27
3.1 引言27
3.2 分类28
3.3 损失与风险29
3.4 判别式函数31
3.5 效用理论31
3.6 关联规则32
3.7 注释33
3.8 习题33
3.9 参考文献34
第4章 参数方法35
4.1 引言35
4.2 最大似然估计35
4.2.1 伯努利密度36
4.2.2 多项密度36
4.2.3 高斯(正态)密度37
4.3 评价估计：偏倚和方差37
4.4 贝叶斯估计38
4.5 参数分类40
4.6 回归43
4.7 调整模型的复杂度：偏倚/方差两难选择45
4.8 模型选择过程47
4.9 注释50
4.10 习题50
4.11 参考文献51
第5章 多元方法52
5.1 多元数据52
5.2 参数估计52
5.3 缺失值估计53
5.4 多元正态分布54
5.5 多元分类56
5.6 调整复杂度59
5.7 离散特征61
5.8 多元回归62
5.9 注释63
5.10 习题63
5.11 参考文献64
第6章 维度归约65
6.1 引言65
6.2 子集选择65
6.3 主成分分析67
6.4 因子分析71
6.5 多维定标75
6.6 线性判别分析77
6.7 等距特征映射80
6.8 局部线性嵌入81
6.9 注释83
6.10 习题84
6.11 参考文献85
第7章 聚类86
7.1 引言86
7.2 混合密度86
7.3 k-均值聚类87
7.4 期望最大化算法90
7.5 潜在变量混合模型93
7.6 聚类后的监督学习94
7.7 层次聚类95
7.8 选择簇个数96
7.9 注释96
7.10 习题97
7.11 参考文献97
第8章 非参数方法99
8.1 引言99
8.2 非参数密度估计99
8.2.1 直方图估计100
8.2.2 核估计101
8.2.3 k最近邻估计102
8.3 到多元数据的推广103
8.4 非参数分类104
8.5 精简的最近邻105
8.6 非参数回归：光滑模型106
8.6.1 移动均值光滑106
8.6.2 核光滑108
8.6.3 移动线光滑108
8.7 如何选择光滑参数109
8.8 注释110
8.9 习题111
8.10 参考文献112
第9章 决策树113
9.1 引言113
9.2 单变量树114
9.2.1 分类树114
9.2.2 回归树118
9.3 剪枝119
9.4 由决策树提取规则120
9.5 由数据学习规则121
9.6 多变量树124
9.7 注释125
9.8 习题126
9.9 参考文献127
第10章 线性判别式129
10.1 引言129
10.2 推广线性模型130
10.3 线性判别式的几何意义131
10.3.1 两类问题131
10.3.2 多类问题132
10.4 逐对分离132
10.5 参数判别式的进一步讨论133
10.6 梯度下降135
10.7 逻辑斯谛判别式135
10.7.1 两类问题135
10.7.2 多类问题138
10.8 回归判别式141
10.9 注释142
10.10 习题143
10.11 参考文献143
第11章 多层感知器144
11.1 引言144
11.1.1 理解人脑144
11.1.2 神经网络作为并行处理的典范145
11.2 感知器146
11.3 训练感知器148
11.4 学习布尔函数150
11.5 多层感知器151
11.6 作为普适近似的MLP153
11.7 后向传播算法154
11.7.1 非线性回归154
11.7.2 两类判别式157
11.7.3 多类判别式158
11.7.4 多个隐藏层158
11.8 训练过程158
11.8.1 改善收敛性158
11.8.2 过分训练159
11.8.3 构造网络161
11.8.4 线索162
11.9 调整网络规模163
11.10 学习的贝叶斯观点164
11.11 维度归约165
11.12 学习时间167
11.12.1 时间延迟神经网络167
11.12.2 递归网络168
11.13 注释169
11.14 习题170
11.15 参考文献170
第12章 局部模型173
12.1 引言173
12.2 竞争学习173
12.2.1 在线k-均值173
12.2.2 自适应共鸣理论176
12.2.3 自组织映射177
12.3 径向基函数178
12.4 结合基于规则的知识182
12.5 规范化基函数182
12.6 竞争的基函数184
12.7 学习向量量化186
12.8 混合专家模型186
12.8.1 协同专家模型188
12.8.2 竞争专家模型188
12.9 层次混合专家模型189
12.10 注释189
12.11 习题190
12.12 参考文献190
第13章 核机器192
13.1 引言192
13.2 最佳分离超平面193
13.3 不可分情况：软边缘超平面195
13.4 v-SVM197
13.5 核技巧198
13.6 向量核199
13.7 定义核200
13.8 多核学习201
13.9 多类核机器202
13.10 用于回归的核机器203
13.11 一类核机器206
13.12 核维度归约208
13.13 注释209
13.14 习题209
13.15 参考文献210
第14章 贝叶斯估计212
14.1 引言212
14.2 分布参数的估计213
14.2.1 离散变量213
14.2.2 连续变量215
14.3 函数参数的贝叶斯估计216
14.3.1 回归216
14.3.2 基函数或核函数的使用218
14.3.3 贝叶斯分类219
14.4 高斯过程221
14.5 注释223
14.6 习题224
14.7 参考文献224
第15章 隐马尔可夫模型225
15.1 引言225
15.2 离散马尔可夫过程225
15.3 隐马尔可夫模型227
15.4 HMM的三个基本问题229
15.5 估值问题229
15.6 寻找状态序列231
15.7 学习模型参数233
15.8 连续观测235
15.9 带输入的HMM236
15.10 HMM中的模型选择236
15.11 注释237
15.12 习题238
15.13 参考文献239
第16章 图方法240
16.1 引言240
16.2 条件独立的典型情况241
16.3 图模型实例245
16.3.1 朴素贝叶斯分类245
16.3.2 隐马尔可夫模型246
16.3.3 线性回归248
16.4 d-分离248
16.5 信念传播249
16.5.1 链249
16.5.2 树250
16.5.3 多树251
16.5.4 结树252
16.6 无向图：马尔可夫随机场253
16.7 学习图模型的结构254
16.8 影响图255
16.9 注释255
16.10 习题256
16.11 参考文献256
第17章 组合多学习器258
17.1 基本原理258
17.2 产生有差异的学习器258
17.3 模型组合方案260
17.4 投票法261
17.5 纠错输出码263
17.6 装袋265
17.7 提升265
17.8 重温混合专家模型267
17.9 层叠泛化268
17.10 调整系综268
17.11 级联269
17.12 注释270
17.13 习题271
17.14 参考文献272
第18章 增强学习275
18.1 引言275
18.2 单状态情况：K臂赌博机问题276
18.3 增强学习基础277
18.4 基于模型的学习278
18.4.1 价值迭代279
18.4.2 策略迭代279
18.5 时间差分学习280
18.5.1 探索策略280
18.5.2 确定性奖励和动作280
18.5.3 非确定性奖励和动作282
18.5.4 资格迹283
18.6 推广285
18.7 部分可观测状态286
18.7.1 场景286
18.7.2 例子：老虎问题287
18.8 注释290
18.9 习题291
18.10 参考文献292
第19章 机器学习实验的设计与分析294
19.1 引言294
19.2 因素、响应和实验策略296
19.3 响应面设计297
19.4 随机化、重复和阻止298
19.5 机器学习实验指南298
19.6 交叉验证和再抽样方法300
19.6.1 K-折交叉验证300
19.6.2 5×2交叉验证301
19.6.3 自助法302
19.7 度量分类器的性能302
19.8 区间估计304
19.9 假设检验307
19.10 评估分类算法的性能308
19.10.1 二项检验308
19.10.2 近似正态检验309
19.10.3 t检验309
19.11 比较两个分类算法309
19.11.1 McNemar检验310
19.11.2 K-折交叉验证配对t检验310
19.11.3 5×2交叉验证配对t检验311
19.11.4 5×2交叉验证配对F检验311
19.12 比较多个算法：方差分析312
19.13 在多个数据集上比较315
19.13.1 比较两个算法315
19.13.2 比较多个算法317
19.14 注释317
19.15 习题318
19.16 参考文献319
附录A 概率论320
索引328
