本书主要分为两部分，第一部分（第1~8章）涵盖机器学习的基础理论知识和基本算法，从线性回归到随机森林等，可以帮助你掌握Scikit-Learn的常用方法；第二部份（第9~16章）探讨深度学习和常用框架TensorFlow，手把手教你使用TensorFlow搭建和训练深度神经网络，以及卷积神经网络。
无
机器学习浪潮
2006年，Geoffrey Hinton等人发表了一篇论文注1，展示了如何训练能够高精度（>98％）识别手写数字的深度神经网络。他们将这种技术称为“深度学习”。在当时，深度神经网络的训练被普遍认为是不可能的。这篇论文注2重新激起了科学界的兴趣，不久之后，许多新的论文展示了深度学习不仅是可行的，而且（在超级计算能力和大数据的帮助下）能够取得令人瞩目的成就，是其他机器学习技术所难以企及的。这种热情很快扩展到机器学习相关的许多其他领域。
历经十年的快速发展，机器学习已经征服了整个行业。它已经成为众多高科技产品中的黑科技核心：对你的网络搜索结果进行排名，实现智能手机的语音识别，为你推荐视频，打败世界围棋冠军。在你意识到之前，它甚至会驾驶你的汽车。
你的项目中的机器学习
你已对机器学习充满了兴趣，并迫不及待想要投入其中了吧？
可能你想让自己制作的机器人有思想？让它可以识别人脸？或者学会走路？
或者你们公司有大量的数据（用户日志、财务数据、产品数据、机器传感器数据、热线数据、HR报告等），如果知道去哪儿找，你会挖掘出一些隐藏的宝石，比如：
细分客户群，并为每个群体设置最佳的市场策略
基于相似度来为每个顾客推荐产品
检测哪些交易最有可能是欺诈性的
预测下一年的收入
其他（https://www.kaggle.com/wiki/DataScienceUseCases）
不论原因是什么，你已经下定决心来学习机器学习并在自己的项目中实现它。
目标和方法
本书假设你对机器学习几乎一无所知。本书的目标是提供给你实现从数据中学习的程序时所需的概念、直觉和工具。
我们会覆盖很多技术，从最简单、最常用的（比如线性回归）到一些经常能赢得比赛的深度学习技术。
我们将使用真正生产就绪的Python框架中的算法，而不是实现每个算法的玩具版本：
Scikit-Learn（http://scikit-learn.org/）非常易用，而且已经很高效地实现了机器学习中的众多算法，所以它是学习机器学习的一个很好的着手点。
TensorFlow（http://tensorflow.org/）是使用数据流图进行分布式数值计算的更复杂的库。通过在数千个多GPU服务器上分配计算，可以有效地训练和运行非常大的神经网络。TensorFlow由Google创建，用以支持其大型机器学习应用程序。它已于2015年11月开放源代码。
本书更倾向于动手的方式，通过可以正常运行的具体实例和非常少的理论的方式来帮助读者逐步建立对机器学习的直觉。虽然你可以在不上机的情况下阅读本书，但我们强烈建议你通过在线运行Jupyter笔记本中代码示例（https://github.com/ageron/handson-ml）的方式学习。
先决条件
本书假设你有一定的Python编程经验，而且熟悉Python中主流的科学计算库，例如Numpy（http://numpy.org/）、Pandas（http://pandas.pydata.org/），还有Matplotlib（http://matplotlib.org/）。
另外，如果你想要深入理解低层的原理，则需要大学水平的数学知识（微积分、线性代数、概率论和统计学）。
如果你还不会Python，http://learnpython.org/是一个很好的起点。官方的Python教程（https://docs.python.org/3/tutorial/）也不错。
如果你从没有用过Jupyter，第2章将指导你完成安装和基本操作。它是你工具箱中一个很好的工具。
如果你不熟悉Python的科学库，Jupyter笔记本里包括了一些教程，另外其中还有一个关于线性代数的快速数学教程。
学习路线图
本书由两部分组成。第一部分（机器学习基础）由下列主题组成：
机器学习是什么？它想要解决的问题是什么？机器学习系统中，主要的分类和基础概念有哪些？
一个典型的机器学习项目由哪些步骤组成？
拟合数据进行学习。
优化成本函数。
处理、清洗和准备数据。
特征选择及特征工程。
选择模型并使用交叉验证来调整超参数。
机器学习的主要挑战，拟合不足和过度拟合（偏差/方差权衡）。
降低训练数据的维度以对抗维度的灾难。
最常见的学习算法：线性回归和多项式回归、逻辑回归、k-近邻、支持向量机、决策树、随机森林和集成算法。
第二部分（神经网络和深度学习）由下列主题组成：
神经网络是什么？它们擅长处理哪些问题？
使用TensorFlow构建和训练神经网络。
最重要的神经网络架构：前馈神经网络、卷积网络、递归网络、长期短期记忆（LSTM）网络和自动编码器。
训练深度神经网络的技术。
为海量数据集进行扩容。
强化学习。
第一部分基本上都基于Scikit-Learn，而第二部分则基于TensorFlow。
不要太急于跳入深水区：深度学习无疑是机器学习中最令人兴奋的领域之一，你应该首先掌握基础知识。而且，大多数问题可以用较简单的技术很好地解决，如随机森林和集成算法（在第一部分讨论）。如果你拥有足够的数据、计算能力和耐心，深度学习非常适合复杂的问题，如图像识别、语音识别和自然语言处理。
其他资源
关于机器学习的资料有很多，Andrew Ng在Coursera上的机器学习课程（https://www.coursera.org/learn/machine-learning/）和Geoffrey Hinton的神经网络和深度学习课程（https://www.coursera.org/course/neuralnets）都很棒，虽然学习起来都需要投入大量的时间（比如几个月）。
还有许多关于机器学习的有趣网站，当然还包括很出色的Scikit-Learn用户指南（http://scikit-learn.org/stable/user_guide.html）。也可以试试Dataquest（https://www.dataquest.io/），它提供了非常好的交互式教程，还有一些机器学习的博客，如Quora（http://goo.gl/GwtU3A）上列出的。最后，深度学习网站有一个很好的资源列表（http://deeplearning.net/）便于
你学习更多知识。
当然，还有很多关于机器学习的入门书籍，具体来说：
Joel Grus著的Data Science from Scratch（O扲eilly出版）。本书介绍了机器学习的基础知识，并用纯Python实现了一些主要算法（顾名思义，从零开始）。
Stephen Marsland著的Machine Learning: An Algorithmic Perspective（Chapman & Hall出版）。本书是对机器学习的一个很好的介绍，涵盖了广泛的主题，书中的实例使用了Python代码（也是从零开始，但使用NumPy）。
Sebastian Raschka著的Python Machine Learning（Packt出版）。本书也是对机器学习的一个很好的介绍，它使用了一些Python开源库（如Pylearn 2和Theano）。
Yaser S. Abu-Mostafa、Malik Magdon-Ismail和Hsuan-Tien Lin合著的，Learning from Data（AMLBook出版）。对于机器学习来说，这是一个相当理论化的方法，这本书提供了深刻的见解，特别是对偏差/方差权衡部分（见第4章）。
Stuart Russell和Peter Norvig合著的A Modern Approach, 3rd（Pearson出版）。这是一本很好的（很厚的）书，涵盖了包括机器学习在内的大量主题，可以帮助我们正确地看待和理解机器学习。
最后还有一个非常好的学习方式是加入机器学习竞赛网站，比如Kaggle.com。它允许你通过解决现实世界中的问题来练习你的技能，而且有很多顶级的机器学习专家会帮助你。
排版约定
本书中使用以下排版约定：
斜体
指示新的术语、网址、电子邮件地址、文件名和文件扩展名。
等宽字体（Constant width）
用于程序清单，以及段落内引用的程序元素，如变量或函数名称、数据库、数据类型、环境变量、语句和关键字。
等宽黑体（Constant width bold）
显示应由用户输入的命令或其他文本。
等宽斜体（Constant width italic）
显示应由用户提供的值或由上下文确定的值来替换的文本。
表示提示或者建议。
表示一个普通的说明
表示警告
使用代码示例
补充材料（代码示例、练习题等）可在https://github.com/ageron/handson-ml下载。
这本书可以帮助你完成工作。一般来说，本书提供的示例代码可以在程序和文档中使用。除非你复制了大部分代码，否则无须联系我们获得许可。例如，编写使用本书中几个代码块的程序不需要许可。不过销售或分发O扲eilly书籍中的示例CD-ROM需要获得许可。引用本书的示例代码来回答问题不需要许可。将本书中的大量示例代码整合到产品文档中则需要获得许可。
我们赞赏但不要求归属权声明。归属权声明通常包括书名、作者、出版者和ISBN。例如：“Hands-On Machine Learning with Scikit-Learn and TensorFlow by Aureélien Geéron (O扲eilly). Copyright 2017 Aureélien Geéron, 978-1-491-96229-9.”。
如果你觉得你对示例代码的使用超出上述许可范围，可以随时通过
Safari在线电子书
Safari（以前的Safari Books Online）是一个面向企业、政府、教育者和个人的基于会员的培训和参考平台。
书店的会员可以从几百家出版社的数据库中搜索并获得数千种图书、培训视频、正式出版前的手稿等资料，这些出版社包括O扲eilly Media、Prentice Hall Professional、Addison-Wesley Professional、Microsoft Press、Sams、Que、Peachpit Press、Focal Press、Cisco Press、John Wiley & Sons、Syngress、Morgan Kaufmann、IBM Redbooks、Packt、Adobe Press、FT Press、Apress、Manning、New Riders、McGraw-Hill、Jones & Bartlett、Course Technology等。
要了解Safari网上书店的更多信息，请访问我们的网站（https://www.safaribooksonline.com）。
如何联系我们
美国：
O'Reilly Media, Inc.
1005 Gravenstein Highway North
Sebastopol, CA 95472
中国：
北京市西城区西直门南大街2号成铭大厦C座807室（100035）
奥莱利技术咨询（北京）有限公司
我们为本书设立了专门的网页，其中有勘误表、程序示例以及其他有关信息，网址是http://bit.ly/hands-on-machine-learning-with-scikit-learn-and-tensorflow。
对本书的意见或询问技术问题，请发邮件至bookquestions@oreilly.com。
更多与O扲eilly有关的图书、课程、会议、新闻等信息，请访问我们的网站http://www.oreilly.com。
读者可在Facebook上关注我们：http://facebook.com/oreilly。
读者可在Twitter上关注我们：http://twitter.com/oreillymedia。
读者可在YouTube上关注我们：http://www.youtube.com/oreillymedia。
致谢
我要感谢我在Google的同事，特别是YouTube视频分类小组，他们教给我很多关于机器学习的知识。没有他们，我永远无法开始这个项目。特别感谢我的个人机器学习专家：Clément Courbet、Julien Dubois、Mathias Kende、Daniel Kitachewsky、James Pack、Alexander Pak、Anosh Raj、Vitor Sessak、Wiktor Tomczak、Ingrid von Glehn、Rich Washington以及YouTube巴黎办公室的所有人。
非常感谢所有在百忙中抽出时间来仔细阅读书稿的人。感谢Pete Warden回答了我所有关于TensorFlow的问题，他对第二部分进行了审校，提供了许多有趣的见解，当然也成为TensorFlow核心团队的一员。你一定要浏览他的博客（https://petewarden.com/）！非常感谢Lukas Biewald对第二部分的全面审校：他认真而仔细地测试了所有的代码（并且发现了一些错误），提出了许多很好的建议，他的热情也很有感染力。你应该浏览他的博客（https://lukasbiewald.com/）和他做的很酷的机器人（https://goo.gl/Eu5u28）！感谢Justin Francis，他也仔细审校了第二部分，特别是第16章，指出了一些错误并提供了很好的见解。查看他在TensorFlow上的帖子（https://goo.gl/28ve8z）！
非常感谢David Andrzejewski，他审校了本书的第一部分，提供了非常有用的反馈，指出了不明确的部分并提出了改进建议。你应该看看他的网站（http://www.david-andrzejewski.com/）！感谢Grégoire Mesnil，他对第二部分进行了评论，并对培训神经网络提供了非常有趣的实用建议。Eddy Hung、Salim Sémaoune、Karim Matrah、Ingrid von Glehn、Iain Smears和Vincent Guilbeau先生审校第一部分并提出了许多有用的建议。我还要感谢我的岳父兼前数学老师Michel Tessier，他现在是Anton Chekhov的一名优秀翻译，帮助我解决了本书中的一些数学标记和符号的问题，并审校了线性代数Jupyter笔记本。
当然，也要对我亲爱的兄弟Sylvain由衷地说一声“谢谢”，他审校了每一章，对每一行代码进行了测试，几乎在每一部分都提供了反馈，并鼓励我有始有终。爱你，兄弟！
非常感谢O'Reilly优秀的员工，特别是Nicole Tache，他给了我很多有价值的反馈，他开朗、善于鼓励他人并乐于助人。还要感谢Marie Beaugureau、Ben Lorica、Mike Loukides和Laurel Ruma 认可本书，并帮助我确定写作范围。感谢Matt Hacker和Atlas团队的所有成员回答了关于格式化、asciidoc和LaTeX的所有技术问题，同时感谢Rachel Monaghan、Nick Adams和所有产品团队的最终评审以及他们数百次的更正。
最后，非常感谢我的爱妻Emmanuelle，以及我们三个优秀的孩子：Alexandre、Rémi和Gabrielle。他们鼓励我勤于写作，并提出了许多问题（谁说不能教7岁的孩子神经网络？），还给我递饼干和咖啡。人生如此，夫复何求？
计算机\人工智能
无
[法] 奥雷利安·杰龙（Aurélien Géron）著：随着一系列的突破，深度学习点燃了整个机器学习领域。 现在，即使是对这项技术毫无基础的程序员，也可以使用简单高效的工具来实现“可以自动从数据中学习”的程序。本书将展示如何做到这一点。
通过具体的例子、非常少的理论和两个产品级的Python框架——Scikit-learn 和 TensorFlow 。作者帮助你很直观地理解并掌握构建智能系统的概念和工具。你将学习一系列技术，从简单的线性回归开始到深度神经网络等。每章都有习题来帮助你应用学到的知识，你所需要的只是一点编程经验，仅此而已。
- 探索机器学习的全景图，特别是神经网络。
- 使用Scikit-Learn来端到端地建立一个机器学习项目的示例。
- 探索多种训练模型，包括支持向量机、决策树、随机森林和集成方法。
- 使用TensorFlow库建立和训练神经网络。
- 深入神经网络架构，包括卷积网络、递归网络和深度强化学习。
- 学习训练和伸缩深度神经网络的技巧。
- 应用可以工作的代码示例，而无须过多的机器学习理论或算法细节。
本书是关于使用神经网络来解决问题的理论和实践的一本优秀导论。它涵盖了你建立高效应用的关键点，以及足够的背景知识以应对新研究的出现。 我推荐这本书给有兴趣学习用机器学习来解决实际问题的人。
- Pete Warden
- TensorFlow移动端负责人
Aurelien Geron是机器学习方面的顾问。他是Google的前员工，在2013年到2016年领导过YouTube视频分类团队。2002年至2012年，他还是Wifirst公司的创始人和首席技术官，在2001年，他是Ployconseil公司的创始人和首席技术官。
随着AlphaGo在人机大战中一举成名，关于机器学习的研究开始广受关注，数据科学家也一跃成为“21世纪最性感的职业”。关于机器学习和神经网络的广泛应用虽然兴起不久，但是对这两个密切关联的领域的研究其实已经持续了好几十年，早已形成了系统化的知识体系。对于想要踏入机器学习领域的初学者而言，理论知识的获取并非难事。
本书作者Aurélien Géron曾经是谷歌工程师，在2013年至2016年，主导了YouTube的视频分类工程，拥有丰富的机器学习项目经验。作者的写作初衷是希望从实践出发，手把手地帮助开发者从零开始搭建起一个神经网络。这也正构成了本书区别于其他机器学习教程的最重要的特质—不再偏向于原理研究的角度，而是从开发者的实践角度出发，在动手写代码的过程中，循序渐进地了解机器学习的理论知识和工具的实践技巧。对于想要快速上手机器学习的开发者来说，本书不啻为一个非常值得尝试的起点项目。
本书主要分为两个部分。第一部分为第1～8章，涵盖机器学习的基础理论知识和基本算法—从线性回归到随机森林等，帮助读者掌握Scikit-Learn的常用方法；第二部分为第9～16章，探讨深度学习和常用框架TensorFlow，一步一个脚印地带领读者使用TensorFlow搭建和训练深度神经网络，以及卷积神经网络。
书中涉及不少数学公式，作者对抽象的公式背后的含义也都一一做出了阐释，因此即便是对数学不敏感的初学者，也同样能够理解机器学习任务的实质。
书中所涉及的专业术语与概念较多，部分概念及术语尚无公认的中文译法，因此我们较多地参考了网络上和研究论文中常用的译法，若有不适合读者朋友的术语，可根据原词确认其原始词意。在翻译过程中虽然力求准确地反映原著内容，但由于译者水平有限，如有错漏之处，恳请读者批评指正。
本书译者均来自于ThoughtWorks咨询公司，王静源翻译了第1～8章，贾玮翻译了第13～16章，边蕤翻译了第11章和第12章，邱俊涛翻译了第9章和第10章，并对全书译文进行校对和最后定稿。
最后要感谢机械工业出版社华章分社的编辑，他们为保证本书的质量做出了大量的编辑和校正工作，在此深表谢意。
译者
2018年3月
前言1
第一部分 机器学习基础
第1章 机器学习概览11
什么是机器学习12
为什么要使用机器学习12
机器学习系统的种类15
监督式/无监督式学习16
批量学习和在线学习21
基于实例与基于模型的学习24
机器学习的主要挑战29
训练数据的数量不足29
训练数据不具代表性30
质量差的数据32
无关特征32
训练数据过度拟合33
训练数据拟合不足34
退后一步35
测试与验证35
练习37
第2章 端到端的机器学习项目39
使用真实数据39
观察大局40
框架问题41
选择性能指标42
检查假设45
获取数据45
创建工作区45
下载数据48
快速查看数据结构49
创建测试集52
从数据探索和可视化中获得洞见56
将地理数据可视化57
寻找相关性59
试验不同属性的组合61
机器学习算法的数据准备62
数据清理63
处理文本和分类属性65
自定义转换器67
特征缩放68
转换流水线68
选择和训练模型70
培训和评估训练集70
使用交叉验证来更好地进行评估72
微调模型74
网格搜索74
随机搜索76
集成方法76
分析最佳模型及其错误76
通过测试集评估系统77
启动、监控和维护系统78
试试看79
练习79
第3章 分类80
MNIST80
训练一个二元分类器82
性能考核83
使用交叉验证测量精度83
混淆矩阵84
精度和召回率86
精度/召回率权衡87
ROC曲线90
多类别分类器93
错误分析95
多标签分类98
多输出分类99
练习100
第4章 训练模型102
线性回归103
标准方程104
计算复杂度106
梯度下降107
批量梯度下降110
随机梯度下降112
小批量梯度下降114
多项式回归115
学习曲线117
正则线性模型121
岭回归121
套索回归123
弹性网络125
早期停止法126
逻辑回归127
概率估算127
训练和成本函数128
决策边界129
Softmax回归131
练习134
第5章 支持向量机136
线性SVM分类136
软间隔分类137
非线性SVM分类139
多项式核140
添加相似特征141
高斯RBF核函数142
计算复杂度143
SVM回归144
工作原理145
决策函数和预测146
训练目标146
二次规划148
对偶问题149
核化SVM149
在线SVM151
练习152
第6章 决策树154
决策树训练和可视化154
做出预测155
估算类别概率157
CART训练算法158
计算复杂度158
基尼不纯度还是信息熵159
正则化超参数159
回归161
不稳定性162
练习163
第7章 集成学习和随机森林165
投票分类器165
bagging和pasting168
Scikit-Learn的bagging和pasting169
包外评估170
Random Patches和随机子空间171
随机森林172
极端随机树173
特征重要性173
提升法174
AdaBoost175
梯度提升177
堆叠法181
练习184
第8章 降维185
维度的诅咒186
数据降维的主要方法187
投影187
流形学习189
PCA190
保留差异性190
主成分191
低维度投影192
使用Scikit-Learn192
方差解释率193
选择正确数量的维度193
PCA压缩194
增量PCA195
随机PCA195
核主成分分析196
选择核函数和调整超参数197
局部线性嵌入199
其他降维技巧200
练习201
第二部分 神经网络和深度学习
第9章 运行TensorFlow205
安装207
创建一个计算图并在会话中执行208
管理图209
节点值的生命周期210
TensorFlow中的线性回归211
实现梯度下降211
手工计算梯度212
使用自动微分212
使用优化器214
给训练算法提供数据214
保存和恢复模型215
用TensorBoard来可视化图和训练曲线216
命名作用域219
模块化220
共享变量222
练习225
第10章 人工神经网络简介227
从生物神经元到人工神经元227
生物神经元228
具有神经元的逻辑计算229
感知器230
多层感知器和反向传播233
用TensorFlow的高级API来训练MLP236
使用纯TensorFlow训练DNN237
构建阶段237
执行阶段240
使用神经网络241
微调神经网络的超参数242
隐藏层的个数242
每个隐藏层中的神经元数243
激活函数243
练习244
第11章 训练深度神经网络245
梯度消失/爆炸问题245
Xavier初始化和He初始化246
非饱和激活函数248
批量归一化250
梯度剪裁254
重用预训练图层255
重用TensorFlow模型255
重用其他框架的模型256
冻结低层257
缓存冻结层257
调整、丢弃或替换高层258
模型动物园258
无监督的预训练259
辅助任务中的预训练260
快速优化器261
Momentum优化261
Nesterov梯度加速262
AdaGrad263
RMSProp265
Adam优化265
学习速率调度267
通过正则化避免过度拟合269
提前停止269
1和2正则化269
dropout270
最大范数正则化273
数据扩充274
实用指南275
练习276
第12章 跨设备和服务器的分布式TensorFlow279
一台机器上的多个运算资源280
安装280
管理GPU RAM282
在设备上操作284
并行执行287
控制依赖288
多设备跨多服务器288
开启一个会话290
master和worker服务290
分配跨任务操作291
跨多参数服务器分片变量291
用资源容器跨会话共享状态292
使用TensorFlow队列进行异步通信294
直接从图中加载数据299
在TensorFlow集群上并行化神经网络305
一台设备一个神经网络305
图内与图间复制306
模型并行化308
数据并行化309
练习314
第13章 卷积神经网络315
视觉皮层的组织结构315
卷积层317
过滤器318
多个特征图的叠加319
TensorFlow实现321
内存需求323
池化层323
CNN架构325
LeNet-5326
AlexNet327
GoogLeNet328
ResNet331
练习334
第14章 循环神经网络337
循环神经元337
记忆单元339
输入和输出序列340
TensorFlow中的基本RNN341
通过时间静态展开342
通过时间动态展开344
处理长度可变输入序列344
处理长度可变输出序列345
训练RNN346
训练序列分类器346
训练预测时间序列348
创造性的RNN352
深层RNN353
在多个GPU中分配一个深层RNN354
应用丢弃机制355
多个时间迭代训练的难点356
LSTM单元357
窥视孔连接359
GRU单元359
自然语言处理361
单词嵌入361
用于机器翻译的编码器-解码器网络362
练习364
第15章 自动编码器366
高效的数据表示366
使用不完整的线性自动编码器实现PCA368
栈式自动编码器369
TensorFlow实现370
权重绑定371
一次训练一个自动编码器372
重建可视化374
特征可视化375
使用堆叠的自动编码器进行无监控的预训练376
去噪自动编码器377
TensorFlow 实现378
稀疏自动编码器379
TensorFlow 实现380
变分自动编码器381
生成数字384
其他自动编码器385
练习386
第16章 强化学习388
学习奖励最优化389
策略搜索390
OpenAI gym 介绍391
神经网络策略394
评估行为：信用分配问题396
策略梯度397
马尔可夫决策过程401
时间差分学习与Q学习405
探索策略406
逼近Q学习407
使用深度Q学习玩吃豆人游戏407
练习414
致谢415
附录A 练习答案416
附录B 机器学习项目清单438
附录C SVM对偶问题444
附录D 自动微分447
附录E 其他流行的ANN架构453
