本书是升级版，不仅包含机器学习的基本概念，以及如何利用TensorFlow库快速构建强大的机器学习模型，还涵盖了前沿的神经网络技术，如深度语音分类器、面部识别和CIFAR-10自动编码。另外，本书新增了如何将代码更新到TensorFlow 2.0，以及在Docker容器中运行代码所需要的技术。
无
大约在2018年2月的一天，我拿着刚出版的本书第1版坐下来，打开它并投入其中。目前，我管理着美国国家航空航天局位于美丽的加州帕萨迪纳的喷气推进实验室的人工智能分析和创新发展部门。然而当时，我是IT部门的副首席技术官（CTO），在数据科学、信息检索和软件方面有较强的背景，但对机器学习这个热门话题只是了解皮毛。我曾经涉猎过，但从未像人们说的那样深入。我知道Manning出版社，它擅长用实用且深入的例子以通俗幽默的方式涵盖相关主题，因此我非常喜欢这本书。那时，我已经差不多一年没有读过技术书籍，更不用说坐下来尝试写代码和练习了。
我决定选择这本书，而且必须运行代码，拿出笔和纸，画出矩阵，做好笔记，学习而不是只阅读。天呐，这本书太棒了。它很幽默—可能是我读过的最简单的关于机器学习的介绍—而且我真的理解了。我记得有天晚上我对妻子说:“这就是为什么所有像埃隆·马斯克这样的亿万富翁CEO都害怕人工智能。”我可以看到它各种形式的应用，如文本、声音、视觉和语音，并且它使用了一个叫TensorFlow的很棒的框架。
但是有一个问题。本书的第1版有一个习惯，就是在每章的结尾扔出一个要点，大意是“好吧，你刚刚了解了人工智能或机器学习的主题X，你可以尝试为X创建一个模型，就像这个最先进的模型一样，并测试它。”我充满好奇并且愿意花时间，大约9周之后，我训练并重建了Visual Geometry Group(VGG)的Face模型，发现了一系列的改进，并重建了不再存在的数据集。我编写了代码来获取Android手机数据并推断用户的活动，如跑步或散步。我创建了一个鲁棒的情感分类器，在Kaggle的Bag of Popcorn Movie Challenge（现在已经结束）中可以进入前100名。
最终，我为本书的第2版准备了足够多的代码、笔记和材料。我收集了数据，编写了Jupyter文件，修复了代码中的bug。在Nishant Shukla的第1版和这一版之间的两年时间里，TensorFlow的1.x分支已经发行了大约20个版本，并且其2.x版本也即将上线（就在我写本书的时候）。
在本书中你可以得到所有的代码、示例、bug修复、数据下载、辅助软件库安装以及容器化等方面的内容。不要把它当作另外一本TensorFlow的书，我可以简单地称其为Machine Learning with TensorFlow and Friends，2nd Edition：NumPy，SciPy，Matplotlib，Jupyter，Pandas，Tika，SKLearn，TQDM，and More。你需要所有这些元素来进行数据科学和机器学习。需要说明的是，本书不仅仅介绍TensorFlow，还介绍机器学习及其实现：如何清洗数据、构建模型并训练数据，以及（更重要的）如何评估数据。
我希望你和我一样喜欢机器学习并且永远保持热情。这段旅程并不容易，包括在写作的过程中遭遇了一场全球流行病，但我从未像现在这样乐观，因为我看到了人工智能和机器学习的光明和力量。希望你在读完这本书之后，也如我一样！
计算机\人工智能
人工智能是推动新一轮科技革命和产业变革的战略性、引领性技术，是推动工业（特别是制造业）数字化、网络化、智能化发展的重要驱动力量。人工智能和机器学习是一个集理论前沿、技术创新、工程试验、实践应用于一体的系统工程，具有快速迭代升级、持续动态演进的发展特征，必将汇聚形成推动人类社会文明进步的磅礴力量。本书为系统认识、深入理解、实践推广机器学习提供了专业的讲解和翔实的案例，是一本不可多得的专业书籍。
—— 鲁春丛，中国工业互联网研究院院长
世界正在快速、全面地进入数智时代，面对海量的数据，人工智能是不可或缺的决策工具。作为人工智能核心技术的机器学习，更是有志于数智化转型的广大技术人员必备的技能。谷歌的TensorFlow是当前机器学习的主流工具之一，掌握TensorFlow可帮助你洞悉数据世界，成为数智时代的弄潮儿。
—— 陈斌，日本NETSTARS CTO
作为人工智能的核心技术，机器学习正在以超乎想象的速度广泛运用在我们工作、生活的各个方面：自动驾驶、医学诊断、生物特征识别、自然语言处理、证券量化交易……这不仅需要我们掌握机器学习的底层概念、逻辑与技术，也需要我们有充分的实践能力，这本书正好可以帮助我们做到这样。
—— 钱海川，江苏银承网络科技股份有限公司
联合创始人&CTO、前趋势科技全球研发副总裁
国光是我的老同事和老朋友。他在算法和架构方面有着非常丰富的一线经验，曾经服务过很多优秀的企业。很高兴看到他开始将自己的专业能力转化为知识，为更大的人群和社会做贡献。本书全面地介绍了机器学习的原理、算法和神经网络，并配以详细的案例介绍和操作步骤，非常适合人工智能的初学者系统学习。同时书中使用了不同领域的真实案例，对于中高级读者也非常有借鉴意义。强烈建议有基础的工程师都读一读这本书。
—— 汤峥嵘，云柚智能创始人
前阿里P10、淘宝主架构师
机器学习是人工智能的重要基础和关键技术。本书涵盖了当今主流机器学习的核心技术，详细介绍了机器学习的基本原理、核心算法和神经网络，算法与示例紧密结合。全书通俗易懂、妙趣横生，读完本书你会感觉人工智能不再遥远，机器学习不再神秘。向对人工智能、机器学习感兴趣的朋友推荐本书。
—— 朱铎先，北京兰光创新科技有限公司
机智互联（北京）科技有限公司创始人
TensorFlow是机器学习算法与系统开发的重要工具之一。本书采用多个领域详尽的例子，详细剖析了TensorFlow的特性以及在不同机器学习任务中的使用方法，将基础算法与代码实现紧密结合，值得广大关注机器学习的读者阅读收藏。
—— 朱皞罡，北京航空航天大学教授
中央网信办国家电子政务专家委员会委员
风趣的笔风，任务为导向的主脉络，以实战代码讲解人工智能原理，不陷入深奥的数学理论并给出可供深究的资源。本书为广大AI爱好者提供了步入实践殿堂的绝佳路径。
—— 谢湘，北京理工大学副教授
语音识别专家
Tensorflow已经成为机器学习的必备工具之一。本书对Tensorflow进行了深入浅出的探索与讲解，是掌握机器学习的一把利器。
—— 谭华春，东南大学教授
技术进步推动着人类社会的发展，人们不断发明新的技术、追求更高效的生产力，来创造更美好的生活。早在20世纪50年代就已经有关于机器学习的研究，并发展出了“符号主义”“连接主义”“统计学习”等多个流派，其中很多技术至今依然是非常好用的机器学习工具。随着网络技术发展和智能手机的普及，大量互联网业务诞生，由此产生出前所未有的数据量以及对数据智能的需求。计算和存储能力的提高，带来了以深度学习为主流的新一轮机器学习应用热潮。智能化，注定会为这个时代留下浓墨重彩的一笔。今天，机器学习应用广泛，如人脸识别、内容推荐等场景已经很成熟，以至于人们已经对其习以为常。但是从发展前景看，机器学习的应用空间仍然非常大。
几年前，我加入中信集团的一家科技公司担任首席技术官。不同于之前工作过的互联网企业聚焦于面向人的服务，即通常所说的ToC，在中信的工作使我看到了中国产业的场景和体量、企业数量、企业家的创新能力与勤奋，都是非常惊人的。从疫情期间医用口罩能够在极短时间内充分供给并出口就可见一斑。在这样巨大的经济体中，企业的发展水平并不平均，以制造企业为例，许多企业都存在效率提升的空间和需求，从资源、能源、人工成本、安全等角度考量，人工智能技术都有着极大的应用空间。要解决这些问题，单靠行业专家或者IT专家是不够的，必须要二者结合，特别是在有可解释性要求的场景下，需要他们互相理解对方领域的语言与逻辑。同时在工程化方面，更需要不断降低使用人工智能技术的成本，使这些技术能够真正地服务于企业生产，从而创造价值。这些都需要有更多的人理解这项技术。这也是我翻译本书的初衷。
本书涵盖了当今主流的机器学习核心技术，从基本原理、核心算法、神经网络三个部分进行了详细阐述。本书的特点是算法讲解与示例相结合，作者在对每个基础理论进行讲解之后，都会提供对应的示例问题，并通过TensorFlow编码实现，包括数据清洗、准备、训练、推理和评估，还对示例代码进行了解释，使读者能够更容易地理解并应用。我在翻译本书时力求忠于原文、内容准确，但由于才疏学浅，书中难免存在一些错误或疏漏，恳请读者批评指正。
感谢各位师长与挚友在我人生道路上的指导和帮助。感谢机械工业出版社华章分社的编辑朋友们推荐此书并委托我翻译。中国经济蓬勃发展并进入新的阶段，大国崛起、科技创新是时代的最强音，在这个历史进程中，机器学习技术一定大有可为，希望本书的出版能为其发展略尽绵薄之力。
赵国光
译者序
序
前言
关于本书
致谢
第一部分 机器学习基础
第1章 开启机器学习之旅2
1.1 机器学习的基本原理3
1.1.1 参数5
1.1.2 学习和推理6
1.2 数据表示和特征7
1.3 度量距离13
1.4 机器学习的类型15
1.4.1 监督学习15
1.4.2 无监督学习16
1.4.3 强化学习17
1.4.4 元学习17
1.5 TensorFlow19
1.6 后续各章概述21
小结22
第2章 TensorFlow必备知识23
2.1 确保TensorFlow工作正常24
2.2 表示张量25
2.3 创建运算29
2.4 在会话中执行运算30
2.5 将代码理解为图32
2.6 在Jupyter中编写代码34
2.7 使用变量37
2.8 保存和加载变量38
2.9 使用TensorBoard可视化数据40
2.9.1 实现移动平均40
2.9.2 可视化移动平均42
2.10 把所有综合到一起：TensorFlow系统架构和API44
小结45
第二部分 核心学习算法
第3章 线性回归及其他48
3.1 形式化表示48
3.2 线性回归52
3.3 多项式模型55
3.4 正则化58
3.5 线性回归的应用62
小结63
第4章 使用回归进行呼叫量预测64
4.1 什么是31166
4.2 为回归清洗数据67
4.3 什么是钟形曲线？预测高斯分布71
4.4 训练呼叫回归预测器72
4.5 可视化结果并绘制误差74
4.6 正则化和训练测试集拆分76
小结78
第5章 分类问题基础介绍79
5.1 形式化表示80
5.2 衡量性能82
5.2.1 准确率82
5.2.2 精度和召回率82
5.2.3 受试者操作特征曲线84
5.3 使用线性回归进行分类85
5.4 使用逻辑回归89
5.4.1 解决1维逻辑回归90
5.4.2 解决2维逻辑回归93
5.5 多分类器96
5.5.1 一对所有96
5.5.2 一对一97
5.5.3 softmax回归97
5.6 分类的应用101
小结101
第6章 情感分类：大型影评数据集103
6.1 使用词袋模型104
6.1.1 在影评中应用词袋模型105
6.1.2 清洗所有的电影评论107
6.1.3 在词袋模型上进行探索性数据分析108
6.2 使用逻辑回归构建情感分类器109
6.2.1 模型训练的创建110
6.2.2 训练创建的模型111
6.3 使用情感分类器进行预测112
6.4 测量分类器的有效性115
6.5 创建softmax回归情感分类器119
6.6 向Kaggle提交结果125
小结127
第7章 自动聚类数据128
7.1 使用TensorFlow遍历文件129
7.2 音频特征提取130
7.3 使用k-means聚类135
7.4 分割音频138
7.5 使用自组织映射进行聚类140
7.6 应用聚类144
小结145
第8章 从Android的加速度计数据推断用户活动146
8.1 Walking数据集中的用户活动数据147
8.1.1 创建数据集149
8.1.2 计算急动度并提取特征向量150
8.2 基于急动度大小聚类相似参与者153
8.3 单个参与者的不同类别活动155
小结157
第9章 隐马尔可夫模型158
9.1 一个不可解释模型的例子159
9.2 马尔可夫模型159
9.3 隐马尔可夫模型简介161
9.4 前向算法162
9.5 维特比解码165
9.6 使用HMM166
9.6.1 对视频建模166
9.6.2 对DNA建模166
9.6.3 对图像建模167
9.7 HMM的应用167
小结167
第10章 词性标注和词义消歧168
10.1 HMM示例回顾：雨天或晴天170
10.2 词性标注173
10.2.1 重点：使用HMM训练和预测词性176
10.2.2 生成带歧义的词性标注数据集179
10.3 构建基于HMM的词性消歧算法181
10.4 运行HMM并评估其输出188
10.5 从布朗语料库获得更多的训练数据190
10.6 为词性标注定义评估指标196
小结198
第三部分 神经网络范式
第11章 自编码器200
11.1 神经网络简介201
11.2 自编码器简介203
11.3 批量训练207
11.4 处理图像207
11.5 自编码器的应用211
小结212
第12章 应用自编码器：CIFAR-10图像数据集213
12.1 什么是CIFAR-10214
12.2 自编码器作为分类器218
12.3 去噪自编码器223
12.4 堆栈自编码器226
小结229
第13章 强化学习230
13.1 相关概念231
13.1.1 策略232
13.1.2 效用233
13.2 应用强化学习233
13.3 实现强化学习235
13.4 探索强化学习的其他应用242
小结243
第14章 卷积神经网络244
14.1 神经网络的缺点245
14.2 卷积神经网络简介245
14.3 准备图像246
14.3.1 生成过滤器249
14.3.2 使用过滤器进行卷积251
14.3.3 最大池化253
14.4 在TensorFlow中实现CNN254
14.4.1 测量性能257
14.4.2 训练分类器258
14.5 提高性能的提示和技巧258
14.6 CNN的应用259
小结259
第15章 构建现实世界中的CNN：VGG-Face和VGG-Face Lite260
15.1 为CIFAR-10构建一个现实世界的CNN架构262
15.1.1 加载和准备CIFAR-10图像数据263
15.1.2 执行数据增强265
15.2 为CIFAR-10构建深层CNN架构267
15.3 训练和应用一个更好的CIFAR-10 CNN271
15.4 在CIFAR-10测试和评估CNN273
15.4.1 CIFAR-10准确率结果和ROC曲线276
15.4.2 评估softmax对每个类的预测277
15.5 构建用于人脸识别的VGG-Face280
15.5.1 选择一个VGG-Face的子集来训练VGG-Face Lite282
15.5.2 TensorFlow的Dataset API和数据增强282
15.5.3 创建TensorFlow数据集285
15.5.4 使用TensorFlow数据集训练287
15.5.5 VGG-Face Lite模型和训练288
15.5.6 训练和评估VGG-Face Lite290
15.5.7 使用VGG-Face Lite进行评估和预测292
小结295
第16章 循环神经网络296
16.1 RNN介绍297
16.2 实现循环神经网络298
16.3 使用时间序列数据的预测模型300
16.4 应用RNN303
小结303
第17章 LSTM和自动语音识别304
17.1 准备LibriSpeech语料库305
17.1.1 下载、清洗和准备LibriSpeech OpenSLR数据305
17.1.2 转换音频307
17.1.3 生成每个音频的转录308
17.1.4 聚合音频和转录309
17.2 使用深度语音模型310
17.2.1 为深度语音模型准备输入音频数据311
17.2.2 准备文本转录为字符级数值数据315
17.2.3 TensorFlow中的深度语音模型316
17.2.4 TensorFlow中的连接主义时间分类319
17.3 训练和评估深度语音模型321
小结323
第18章 用于聊天机器人的seq2seq模型325
18.1 基于分类和RNN326
18.2 理解seq2seq架构327
18.3 符号的向量表示331
18.4 把它们综合到一起333
18.5 收集对话数据340
小结341
第19章 效用342
19.1 偏好模型344
19.2 图像嵌入347
19.3 图像排序350
小结355
接下来355
附录 安装说明356
