本书全面介绍了人工智能(AI)和机器学习(ML)的理论和应用。与仅仅从理论或实践的角度来看待这个领域不同，本书将这两个角度结合在了一起，给予全面的理解。第1部分介绍了人工智能和ML的概念以及它们的起源和现状。第2和第3部分深入探讨了静态ML技术和动态ML技术的概念和理论方面。第4部分描述了所提出的技术可以应用的实际应用。第5部分向用户介绍了解决现实ML问题的一些实现策略。

无

有史以来最伟大的物理学家之一、诺贝尔奖获得者理查德·费曼（Richard Feynman）博士曾经被他的同行要求解释当时刚刚发现的费米–狄拉克（Fermi-Dirac）统计的一个性质。费曼迅速说道：
我不仅会向你们解释它，而且还将为新手准备一个关于它的讲座。
然而，很不寻常的是，几天后，他回来承认：
我做不到。我无法将解释简化为新手水平。那意味着我们真的不理解它。
甚至连费曼博士也说出了这种言论。然而，除了费米–狄拉克统计本身的话题外，它还暗示着我们对一般事物理解的深刻思考。这里的新手水平基本上意味着可以直接使用数学或物理中的基本原理推导出来的东西。这种想法总是使我有意识地尝试用基本原理来解释我声称理解的所有事物，尝试从概念上解释所有事物，而不仅仅是使用复杂的方程组。
在过去的十年里，人工智能和机器学习领域发展迅猛。随着广泛的普及，该领域的核心概念时而被淡化，时而被重新诠释。随着该领域的指数级增长，该领域的范围也在不断地增长。这个领域的新手很快就会发现这个话题令人生畏和困惑。人们总是可以从网络上搜索相关主题或者只是从维基百科开始了解相关内容，但通常情况下，每一个主题都会给你带来越来越多的新概念和未知的概念，很容易让你迷失方向。而且，机器学习中的大多数概念都深深植根于数学和统计学中。没有理论数学和统计学的扎实背景，定理和引理的复杂推导会使人们对该领域感到困惑和无趣。
我在这里尝试介绍机器学习及其应用中最基本的主题，以直观和概念性的方式构建人工智能解决方案。有时会使用一些数学指导，如果没有这些指导，概念就不够清晰，但我已经尽量避免复杂的推导和证明，以便让那些不具有强大数学背景的读者更容易理解书中的内容。根据费曼博士的说法，在这个过程中，我还要确保自己理解了它们。就一般的数学和统计要求而言，我认为一般的本科水平应该足够了。而且，随着开源领域中机器学习库的激增和标准化，人们不需要对该理论进行多么深入的数学理解就可以实现最先进的机器学习模型，从而得到最新的智能解决方案。
当尝试解决给定应用程序中的问题时，引起混乱的主要根源之一是算法的选择。通常，这里介绍的每种算法都源自某个特定的问题，但是该算法通常不限于仅解决该问题。然而，即使对于一个具有强大数学背景的博士生来说，为给定的问题选择正确的算法也并非易事。为了区分两者，我已经把这两个方面分成了独立的部分来介绍。这将使读者更容易理解。
建议读者从第一部分开始，然后根据需要选择第二部分或第三部分。对于学生来说，按顺序学习本书是理想的选择，而具有专业背景的该领域的新手则更适合从第三部分开始，以便理解或专注于手头的精确应用，然后根据需要在第二部分深入研究算法的理论细节。第四部分和第五部分应随后学习。我已经在两个部分之间添加了足够的交叉引用，以使过渡平滑。
在我看来，除非人们能看到模型在真实数据上的作用，否则就无法完全理解。因此，在详细介绍算法和应用程序之后，我添加了另一部分内容，以介绍使用免费和开源选项的模型的基本实现。完成这部分内容的学习将使读者能够使用最新的机器学习技术解决人工智能中的现实问题！

Ameet Joshi
美国华盛顿州雷德蒙德
2019年3月

计算机\人工智能

“这是一本可能值得反复阅读的书。当读者看到本书中所描述的技术在现实世界中的应用时，他们很可能会想重温本书的各个章节，以更新他们的理解，或者深入探究某个领域。我认为这就是最值得拥有的书籍。即使作为一名业内资深人士，我也喜欢阅读这本书，并会随身携带一本。”
——Vij Rajarajan　 微软公司总经理

“本书对在许多实时应用中实践机器学习所需了解的数学工具提供了一个透彻的描述……”
——Computing Reviews

“本书在理论与实践方面取得了良好的平衡，有效结合了机器学习与人工智能的各个主题。与其他关于人工智能的书籍不同，本书并没有完全从数学的角度讲述，这使得它更容易阅读。总的来说，本书比较容易理解，每章都有独立的引言和总结部分，并使用了许多有用的图来阐释相关概念。”

——Sitharama Iyengar　佛罗里达国际大学杰出教授


本书适合机器学习与人工智能相关专业研究生和高年级本科生以及研究人员和专业人员阅读。书中尽可能少地使用数学，这使得主题更直观、更容易理解。
本书特色：
全面介绍了人工智能和机器学习技术的理论和应用。
为人工智能和机器学习提供了直观、易懂的学习指南，较少使用数学。
结合应用介绍所有机器学习和人工智能技术及实现。

序
前言
致谢
第一部分　简　　介
第1章　人工智能和机器学习简介 2
1.1　引言 2
1.2　什么是人工智能 2
1.3　什么是机器学习 3
1.4　本书的结构 3
1.4.1　简介 4
1.4.2　机器学习 4
1.4.3　构建端到端管道 4
1.4.4　人工智能 4
1.4.5　实现 5
1.4.6　结语 5
第2章　人工智能和机器学习的基本概念 6
2.1　引言 6
2.2　大数据和非大数据 6
2.2.1　什么是大数据 6
2.2.2　为什么我们应该区别对待大数据 6
2.3　学习类型 7
2.3.1　监督学习 7
2.3.2　无监督学习 7
2.3.3　强化学习 8
2.4　基于时间的机器学习方法 8
2.4.1　静态学习 8
2.4.2　动态学习 8
2.5　维数 8
2.6　线性和非线性 10
2.7　奥卡姆剃刀原理 12
2.8　“没有免费的午餐”定理 14
2.9　收益递减规律 14
2.10　机器学习的早期趋势 14
2.11　小结 15
第3章　数据的理解、表示和可视化 16
3.1　引言 16
3.2　理解数据 16
3.2.1　理解实体 17
3.2.2　理解属性 17
3.2.3　理解数据类型 18
3.3　数据的表示和可视化 19
3.3.1　主成分分析 19
3.3.2　线性判别分析 21
3.4　小结 22
第二部分　机 器 学 习
第4章　线性方法 26
4.1　引言 26
4.2　线性模型和广义线性模型 27
4.3　线性回归 27
4.3.1　定义问题 27
4.3.2　解决问题 27
4.4　正则化的线性回归 28
4.4.1　正则化 28
4.4.2　岭回归 29
4.4.3　Lasso回归 29
4.5　广义线性模型 30
4.6　k最近邻算法 30
4.6.1　KNN的定义 31
4.6.2　分类和回归 32
4.6.3　KNN的其他变体 32
4.7　小结 32
第5章　感知器和神经网络 34
5.1　引言 34
5.2　感知器 34
5.3　多层感知器或人工神经网络 35
5.3.1　前馈操作 35
5.3.2　非线性多层感知器或非线性人工神经网络 36
5.3.3　训练多层感知器 36
5.3.4　隐藏层 38
5.4　径向基函数网络 38
5.5　过度拟合与正则化 40
5.5.1　L1和L2正则化 40
5.5.2　丢弃正则化 41
5.6　小结 41
第6章　决策树 42
6.1　引言 42
6.2　为什么使用决策树 43
6.3　构建决策树的算法 43
6.4　回归树 44
6.5　分类树 45
6.6　决策指标 45
6.6.1　误分类误差 46
6.6.2　基尼指数 46
6.6.3　交叉熵或偏差 46
6.7　卡方自动交叉检验 47
6.8　训练决策树 47
6.9　集成决策树 48
6.10　Bagging集成树 48
6.11　随机森林 49
6.12　Boosted集成树 49
6.12.1　AdaBoost 50
6.12.2　梯度提升 50
6.13　小结 50
第7章　支持向量机 51
7.1　引言 51
7.2　动机和范围 51
7.2.1　扩展到多元分类 51
7.2.2　非线性情况的扩展 53
7.3　支持向量机理论 53
7.4　可分离性和间隔 54
7.4.1　正则化和软间隔SVM 54
7.4.2　松弛变量的使用 54
7.5　非线性与核函数的使用 55
7.5.1　径向基函数 55
7.5.2　多项式函数 56
7.5.3　Sigmoid 56
7.6　风险最小化 56
7.7　小结 56
第8章　概率模型 57
8.1　引言 57
8.2　判别模型 58
8.2.1　最大似然估计 58
8.2.2　贝叶斯方法 58
8.2.3　最大似然估计和贝叶斯方法的比较 59
8.3　生成模型 61
8.3.1　混合方法 62
8.3.2　贝叶斯网络 62
8.4　一些有用的概率分布 62
8.4.1　正态分布或高斯分布 63
8.4.2　伯努利分布 64
8.4.3　二项分布 65
8.4.4　伽马分布 66
8.4.5　泊松分布 67
8.5　小结 70
第9章　动态规划和强化学习 71
9.1　引言 71
9.2　动态规划的基本方程 71
9.3　动态规划下的问题类别 72
9.4　强化学习 73
9.4.1　强化学习的特点 73
9.4.2　框架和算法 73
9.5　探索和开发 74
9.6　强化学习应用示例 75
9.7　强化学习理论 76
9.8　小结 77
第10章　演化算法 78
10.1　引言 78
10.2　传统方法的瓶颈 78
10.3　达尔文的进化论 80
10.4　遗传规划 80
10.5　群体智能 82
10.6　蚁群优化 83
10.7　模拟退火 84
10.8　小结 84
第11章　时间序列模型 85
11.1　引言 85
11.2　平稳性 85
11.3　自回归和移动平均模型 87
11.3.1　自回归过程 87
11.3.2　移动平均过程 88
11.3.3　自回归移动平均过程 88
11.4　差分自回归移动平均模型 88
11.5　隐马尔可夫模型 89
11.6　条件随机场 91
11.7　小结 92
第12章　深度学习 93
12.1　引言 93
12.2　现代深度学习的起源 94
12.3　卷积神经网络 95
12.3.1　一维卷积 95
12.3.2　二维卷积 95
12.3.3　CNN的架构 96
12.3.4　训练CNN 98
12.4　循环神经网络 98
12.4.1　RNN的局限性 99
12.4.2　长短期记忆RNN 99
12.4.3　LSTM的优点 100
12.4.4　LSTM-RNN的研究现状 100
12.5　小结 101
第13章　机器学习的新兴趋势 102
13.1　引言 102
13.2　迁移学习 102
13.3　生成对抗网络 103
13.4　量子计算 104
13.4.1　量子理论 104
13.4.2　量子纠缠 105
13.4.3　量子叠加 105
13.4.4　量子粒子计算 105
13.5　自动机器学习 105
13.6　小结 106
第14章　无监督学习 107
14.1　引言 107
14.2　聚类 107
14.2.1　k均值聚类 108
14.2.2　k均值聚类的改进 110
14.3　成分分析 110
14.4　自组织映射 111
14.5　自动编码神经网络 112
14.6　小结 113
第三部分　构建端到端管道
第15章　特征化 116
15.1　引言 116
15.2　UCI：成人工资预测器 116
15.3　识别原始数据，将信息与噪声分离 117
15.4　构建特征集 119
15.4.1　特征构建的标准选项 119
15.4.2　特征构建的自定义选项 123
15.5　处理缺失值 123
15.6　可视化特征 124
15.6.1　数值特征 124
15.6.2　分类特征 127
15.7　小结 130
第16章　设计和调整模型管道 131
16.1　引言 131
16.2　选择技术或算法 131
16.3　划分数据 132
16.4　训练 134
16.5　准确率度量 135
16.6　特征的可解释性 135
16.7　实际问题 136
16.7.1　数据泄露 136
16.7.2　巧合与因果关系 137
16.7.3　未知类别 138
16.8　小结 138
第17章　性能度量 139
17.1　引言 139
17.2　基于数值误差的指标 140
17.2.1　平均绝对误差 140
17.2.2　均方误差 140
17.2.3　均方根误差 140
17.2.4　归一化误差 140
17.3　基于分类误差的指标 141
17.3.1　准确率 141
17.3.2　精度和召回率 141
17.3.3　ROC曲线分析 142
17.4　假设检验 144
17.4.1　背景 144
17.4.2　假设检验的步骤 144
17.4.3　A/B检验 145
17.5　小结 145
第四部分　人工智能
第18章　分类 148
18.1　引言 148
18.2　分类中的现实问题示例 148
18.3　垃圾邮件检测 149
18.3.1　定义范围 149
18.3.2　假设 149
18.3.3　数据偏度 150
18.3.4　监督学习 151
18.3.5　特征工程 151
18.3.6　模型训练 151
18.3.7　迭代优化过程 152
18.4　小结 152
第19章　回归 153
19.1　引言 153
19.2　预测房地产价格 153
19.2.1　定义回归特定问题 153
19.2.2　收集标记数据 154
19.2.3　特征工程 156
19.2.4　模型选择 157
19.2.5　模型性能 158
19.3　回归的其他应用 158
19.4　小结 158
第20章　排名 159
20.1　引言 159
20.2　度量排名性能 159
20.3　搜索结果排名和谷歌的
PageRank 161
20.4　排名系统中使用的技术 162
20.5　小结 163
第21章　推荐系统 164
21.1　引言 164
21.2　协同过滤 164
21.3　亚马逊的个人购物体验 166
21.3.1　基于上下文的推荐 167
21.3.2　基于个性化的推荐 167
21.4　Netflix的流媒体视频推荐 168
21.5　小结 169
第五部分　实　　现
第22章　Azure机器学习 172
22.1　引言 172
22.2　Azure机器学习工作室 172
22.3　使用AML工作室构建机器学习管道 175
22.3.1　获取数据 175
22.3.2　数据预处理 176
22.3.3　训练分类器模型 178
22.4　评分和性能指标 179
22.5　小结 182
第23章　开源机器学习库 183
23.1　引言 183
23.2　机器学习库的选择 183
23.3　scikit-learn库 185
23.3.1　开发环境 185
23.3.2　导入数据 185
23.3.3　数据预处理 186
23.3.4　 使用分层抽样划分数据 186
23.3.5　训练多分类模型 187
23.3.6　计算指标 188
23.3.7　使用替代模型 188
23.4　模型调整和优化 189
23.5　AML工作室和scikit-learn之间的比较 190
23.6　小结 190
第24章　亚马逊的机器学习工具包：SageMaker 193
24.1　引言 193
24.2　设置SageMaker 193
24.3　上传数据到S3存储 196
24.4　使用Python编写机器学习管道 198
24.5　小结 200
第六部分　结　　语
第25章　本书总结和下一步工作 202
25.1　总结 202
25.2　下一步工作 203
参考文献 204