内容介绍
本书由百度旗下“深度学习技术及应用国家工程实验室”、百度技术学院联合北航人工智能专家共同撰写，行业实践与学术理论兼顾。百度公司总裁张亚勤博士、李德毅院士、百度高级副总裁/AI技术平台体系总负责人王海峰博士等行业领袖重点推荐。
PaddlePaddle凭借上手容易、运行效率高、支持私有云等优势，受到越来越多的公司和个人开发者的青睐。本书从实战角度出发，旨在帮主读者掌握在真实的生产环境中需要的开发技能。本着由简入繁的原则，从较为简单的线性回归、逻辑回归到较为复杂的RNN数字识别、个性化推荐、云上部署等，不仅系统地讲解了PaddlePaddle的理论知识要点，而且还结合若干实例系统地介绍了PaddlePaddle的功能使用和特点。本书既详细描述了神经网络的各个细节，也深入讲解了算法性能优化的思路和技巧，旨在帮助读者深入理解深度学习的精髓。
百度官方出品，百度公司总裁张亚勤博士作序
李德毅院士，百度高级副总裁、AI技术平台体系总负责人王海峰博士等重点推荐
人工智能（AI）前景无量已经成为业界共识，国内外很多企业都聚集了各种资源大力发展人工智能。人工智能并不是一个新生的名词，在数十年的发展历程中，像“深度学习”这样在学术界和工业界皆具颠覆性的技术可谓十年难遇。作为国内人工智能领域的领头羊，百度在AI领域早已深耕多年，特别是在深度学习领域建树颇丰。百度通过应用深度学习技术，使其在语音、视觉、文本、无人驾驶等各领域都处于领先位置。百度着力打造大AI生态，倾其全力推动中国AI产业大力发展。2016年，百度开源了其内部使用的深度学习框架PaddlePaddle。
深度学习算法十分强大，但深入理解和灵活运用深度学习算法并不是一件容易的事情，尤其是复杂的数学模型和计算过程让不少同学刚入门就放弃了。现在市面上有不少科普型的书，主要作用是从宏观上描述深度学习的发展和用途，没有对细节的描述，只起到了提振读者信心的作用。同时，也不乏学界大牛的全而难的“大部头”著作，但是其中帮助初学者入门深度学习的内容并不多。本书针对此现状立足于PaddlePaddle框架，从算法到应用由浅入深地带领读者一步一步进入AI技术世界。
本书从实战的角度出发，旨在帮助读者掌握满足工业需求的实际技能。在真实工业开发中框架是必不可少的，现在市面上框架很多且各具特色，其中PaddlePaddle因为其具有上手容易、运行效率高、支持私有云等优势，受到越来越多的公司和个人的青睐。虽然开发者对PaddlePaddle表现出了浓厚的兴趣，可惜的是市面上还没有一本关于PaddlePaddle的书。为了让更多的开发者享受到深度学习带来的福利，于是由百度发起，特邀北航参与，两家精诚合作联袂打造了本书。
本书采用由简入繁的原则撰写而成。我们希望本书能成为一名能带领读者领略PaddlePaddle精妙的精神导游。从较为简单的线性回归、逻辑回归到较为复杂的RNN数字识别、个性化推荐、云上部署等，本书结合若干实例，系统地介绍了PaddlePaddle的使用特点。教会读者如何使用框架就像教会了读者一套外功拳法。然而本书不仅关注框架本身的细节用法，还非常注重基础知识和理论，目的是教会读者内功心法。书中既详细描述了神经网络的各个细节，也深入讲解了算法性能优化的思路和技巧，旨在帮助读者深入理解深度学习的精髓。
本书共分为10章，每一章都包含理论介绍和对应的代码实现。除了第1章讲述主要的数学基础外，其余各章都有PaddlePaddle的代码实现。
第1章介绍数学基础和Python库的使用。
第2章回顾神经网络的发展历程和机器学习的基本概念，使用线性回归作为PaddlePaddle的入门示例。
第3章以逻辑回归为主线介绍单个神经元的工作原理，分别使用numpy库和PaddlePaddle实现逻辑回归模型的猫脸分类。
第4章开始正式介绍神经网络。以双层的网络为例深入讲解BP算法的计算过程，分别用numpy库和PaddlePaddle实现“花”的点集分类问题。
第5章介绍深度神经网络的相关知识，总结神经网络的核心算法运算过程。然后使用深度网络再次分别使用numpy库和PaddlePaddle实现猫脸分类。
第6章以图像分类为切入点深入讲解卷积神经网络的相关细节，同时介绍几种经典的网络模型。接着介绍用PaddlePaddle实现基于MNIST数据集的手写数字的识别。
第7章介绍个性化推荐系统的算法，包括基于传统机器学习的推荐方法和基于深度学习的推荐方法，其中重点介绍深度学习的融合推荐系统。同时介绍使用PaddlePaddle在ml-1m 数据集上完成推荐系统的具体实现。
第8章以个性化推荐系统为例，详细讲解PaddlePaddle Cloud的使用方法，介绍在云上如何创建、配置集群，如何提交单节点任务等，并实现基于PaddlePaddle Cloud搭建分布式深度学习推荐网络模型。
第9章介绍PaddlePaddle的又一个应用场景，即广告点击通过率预估（CTR），重点介绍CTR的基本过程和常见模型，然后基于Kaggle数据集网站的Avazu数据集，使用PaddlePaddle实现训练和预测的整个过程。
第10章系统介绍算法优化的思路和方法。从深度学习系统的实践流程开始，介绍评估和调优策略等重要概念和思想，并结合实例给出调优的具体效果。
本书适合的读者主要包含：
对PaddlePaddle框架感兴趣的开发者；
希望学习深度学习的在校大学生和在职的程序员；
从事深度学习教学工作的一线教师；
希望深入理解深度学习的产品经理。
阅读本书最好具备以下要求：至少具有高中以上的数学基础，具有基本的编程能力（拥有Python编程经验更好）。如果读者具有机器学习的相关经验，那么学习起来会更加轻松。
计算机/人工智能/深度学习与神经网络
提升创新驱动发展源头供给能力是时代的需求。无论是人类智能还是人工智能，无论是个体智能还是群体智能，无论是集中智能还是网络智能，都是在提升创新驱动发展源头的供给能力，是创新的原始驱动力量，是生产力中的核心生产力。智能科学或技术是非常重要的解决方案，推动其教育普及更是人工智能工作者的时代使命。
深度学习框架是各国科技巨头竞争的高地，非常高兴看到百度一直以来深耕该领域，也使得我国在深度学习技术领域、基础研究领域、应用领域有更多的主导权和话语权。本书是个非常实用的工具，可以加快深度学习基础教育的普及，吸纳更多人才为国所用。
—— 李德毅 中国工程院院士、国际欧亚科学院院士、中国人工智能学会理事长
百度坚信开放的AI生态才有活力和竞争力。一直以来我们都以开放的心态与学术界、产业界各方深入合作，将千锤百炼的技术和数据与广大开发者、行业伙伴共享，让更多人能参与到以人工智能为核心驱动力的新一轮产业变革中来。深度学习框架为各种人工智能应用提供了开发核心系统和工具，降低了人工智能技术的开发门槛，有效提高了深度学习的效率和质量。PaddlePaddle致力于为开发者提供适合中国国情的深度学习框架，尽可能满足中国开发者的需要，共同促进人工智能的发展，推动变革与创新，让人们的生活更美好。
—— 王海峰 百度公司高级副总裁/AI技术平台体系（AIG）总负责人
深度学习是人工智能时代的加速器，发展和推广自主知识产权的深度学习平台势在必行，本书是一个很好的开端和尝试。本书从基本概念到模型实现，从理论知识到工程落地，涵盖了图像领域、自然语言处理领域的常用方法和模型，以及基于云的分布式计算等高级主题，相信能够助力开发者更快地落地产品。由于本书对理论知识采用循序渐进的展开方式，相信也十分适合教育工作者在AI教学时参考和使用。
—— 吕卫锋 北京航空航天大学计算机学院院长 教授/博士生导师
深度学习作为人工智能最热门的研究领域，已经成为新一轮国际科技竞争高地，而开源深度学习框架将成为这一轮国际角逐的轴心武器，关系到人工智能行业整体的发展基础，其自主化、生态化的快速发展将推动我国自主人工智能软件、硬件的研发和软硬件技术同步发展，提升我国在人工智能领域的实力。百度已在深度学习领域深耕多年，为了培养更多深度学习人才，积极推动PaddlePaddle落地，我们也深耕AI教育，服务开发者，走进高校，构建深度学习内容体系，广泛赋能给各行各业。
—— 陈尚义 百度技术委员会理事长/百度技术学院院长
刘祥龙 杨晴虹 谭中意 蒋晓琳 等编著深度学习技术及应用国家工程实验室、百度技术学院 组编：刘祥龙
北航计算机学院、软件开发环境国家重点实验室副教授。主要研究视觉计算、深度学习、群体智能等，在国际上较系统地研究了多模式哈希和互补多哈希表检索方法。近年来，参与“核高基”国家重大专项、国家自然科学基金重大专项等多个国家课题。发表CVPR、ICCV、AAAI、IJCAI、IEEE TIP等人工智能、计算机视觉领域国际顶级/知名会议和期刊论文40余篇。担任SCI期刊FCS青年副主编，人工智能/多媒体顶级会议ACM MM、AAAI和PCM等多个知名国际会议的程序委员会委员，以及IEEE TIP、TNNLS、TMM等十余个国际知名期刊和会议审稿人。
杨晴虹
北航副教授，高级工程师。北航博士，美国南康涅狄格州立大学图书信息科学访问学者，美国耶鲁大学技术创新实验室数据分析专家。发表国际论文几十篇，主要研究领域有机器学习、知识挖掘、大数据分析、项目管理和科研管理等。在机器学习、深度学习、神经网络等领域有丰富的实践经验，曾主导和参与多个相关的项目并取得成功。
谭中意
百度资深研发工程师，负责百度开源的整体推进工作，有近20年的开发和运营经验。在百度多个部门工作过，现负责以平台化/开源的方式提升百度内部整体的研发效率，并包括组织开源技术委员会，对百度对外的开源进行整体的推动工作。中国开源推进联盟（COPU）副秘书长。
蒋晓琳
百度公司技术管理部高级工程师，之前任职于中国信息通信研究院。曾参与主导超过30余项国家/行业标准，以及多项国际标准。在人工智能、云计算、大数据等领域参与申报和管理的国家重大专项达10余个。
白浩杰
北航特聘讲师，美国佛罗里达国际大学高性能数据实验室访问学者，致力于移动对象数据库、数据可视化、机器学习、深度学习等方向的研究。径点科技有限公司高级工程师，尚硅谷IT教育前端教学总监。
序
前言
致谢
第1章 数学基础与Python库 1
1.1 Python是进行人工智能编程的
主要语言 1
1.2 数学基础 4
1.2.1 线性代数基础 4
1.2.2 微积分基础 8
1.3 Python库的操作 17
1.3.1 numpy操作 17
1.3.2 matplotlib操作 23
本章小结 27
第2章 深度学习概论与PaddlePaddle入门 28
2.1 人工智能、机器学习与深度学习 29
2.1.1 人工智能 30
2.1.2 机器学习 30
2.1.3 深度学习 31
2.2 深度学习的发展历程 32
2.2.1 神经网络的第一次高潮 32
2.2.2 神经网络的第一次寒冬 33
2.2.3 神经网络的第二次高潮 34
2.2.4 神经网络的第二次寒冬 35
2.2.5 深度学习的来临 35
2.2.6 深度学习崛起的时代背景 36
2.3 深度学习的应用场景 36
2.3.1 图像与视觉 37
2.3.2 语音识别 37
2.3.3 自然语言处理 38
2.3.4 个性化推荐 38
2.4 常见的深度学习网络结构 39
2.4.1 全连接网络结构 39
2.4.2 卷积神经网络 40
2.4.3 循环神经网络 41
2.5 机器学习回顾 41
2.5.1 线性回归的基本概念 42
2.5.2 数据处理 44
2.5.3 模型概览 45
2.5.4 效果展示 46
2.6 深度学习框架简介 47
2.6.1 深度学习框架的作用 47
2.6.2 常见的深度学习框架 48
2.6.3 PaddlePaddle简介 49
2.6.4 PaddlePaddle使用 49
2.7 PaddlePaddle实现 51
本章小结 60
第3章 深度学习的单层网络 61
3.1 Logistic回归模型 62
3.1.1 Logistic回归概述 62
3.1.2 损失函数 64
3.1.3 Logistic回归的梯度下降 66
3.2 实现Logistic回归模型 71
3.2.1 Python版本 72
3.2.2 PaddlePaddle版本 81
本章小结 90
第4章 浅层神经网络 92
4.1 神经网络 92
4.1.1 神经网络的定义及其结构 92
4.1.2 神经网络的计算 94
4.2 BP算法 100
4.2.1 逻辑回归与BP算法 101
4.2.2 单样本双层神经网络的BP算法 101
4.2.3 多个样本神经网络BP算法 105
4.3 BP算法实践 108
4.3.1 Python版本 109
4.3.2 PaddlePaddle版本 116
本章小结 122
第5章 深层神经网络 123
5.1 深层网络介绍 123
5.1.1 深度影响算法能力 124
5.1.2 网络演化过程与常用符号 125
5.2 传播过程 127
5.2.1 神经网络算法核心思想 127
5.2.2 深层网络前向传播过程 128
5.2.3 深层网络后向传播过程 129
5.2.4 传播过程总结 130
5.3 网络的参数 132
5.4 代码实现 133
5.4.1 Python版本 133
5.4.2 PaddlePaddle版本 136
本章小结 140
第6章 卷积神经网络 141
6.1 图像分类问题描述 141
6.2 卷积神经网络介绍 142
6.2.1 卷积层 142
6.2.2 ReLU激活函数 147
6.2.3 池化层 148
6.2.4 Softmax分类层 149
6.2.5 主要特点 151
6.2.6 经典神经网络架构 152
6.3 PaddlePaddle实现 159
6.3.1 数据介绍 159
6.3.2 模型概览 160
6.3.3 配置说明 160
6.3.4 应用模型 168
本章小结 169
第7章 个性化推荐 170
7.1 问题描述 170
7.2 传统推荐方法 171
7.2.1 基于内容的推荐 172
7.2.2 协同过滤推荐 173
7.2.3 混合推荐 175
7.3 深度学习推荐方法 176
7.3.1 YouTube的深度神经网络推荐系统 176
7.3.2 融合推荐系统 178
7.4 个性化推荐系统在PaddlePaddle上的实现 180
7.4.1 数据准备 180
7.4.2 模型配置 182
7.4.3 模型训练 184
7.4.4 模型测试 188
本章小结 188
第8章 个性化推荐的分布式实现 190
8.1 PaddlePaddle Cloud介绍 190
8.2 PaddlePaddle Cloud使用 192
8.2.1 创建集群 192
8.2.2 配置集群 192
8.2.3 配置客户端 193
8.3 个性化推荐在PaddlePaddle Cloud上的实现 194
8.3.1 提交单节点任务 194
8.3.2 个性化推荐在PaddlePaddle Cloud上的实现 196
本章小结 199
第9章 广告CTR预估 200
9.1 CTR预估简介 200
9.1.1 CTR定义 201
9.1.2 CTR与推荐算法的异同 202
9.1.3 CTR预估的评价指标 202
9.2 CTR预估的基本过程 205
9.2.1 CTR预估的三个阶段 206
9.2.2 CTR预估中的特征预处理 206
9.3 CTR预估的常见模型 208
9.3.1 LR模型 208
9.3.2 GBDT模型 210
9.3.3 GBDT+LR模型 212
9.3.4 FM+DNN模型 214
9.3.5 MLR模型 215
9.4 CTR预估在工业上的实现 217
9.5 CTR预估在PaddlePaddle上的实现 218
9.5.1 数据集 218
9.5.2 预测模型选择和构建 219
9.5.3 PaddlePaddle完整实现 222
本章小结 226
第10章 算法优化 227
10.1 基础知识 227
10.1.1 训练、验证和测试集 227
10.1.2 偏差和方差 228
10.2 评估 229
10.2.1 选定评估目标 229
10.2.2 迭代过程 230
10.2.3 欠拟合和过拟合 230
10.3 调优策略 231
10.3.1 降低偏差 231
10.3.2 降低方差 236
10.4 超参数调优 242
10.4.1 随机搜索和网格搜索 242
10.4.2 超参数范围 243
10.4.3 分阶段搜索 243
10.4.4 例子：对学习率的调整 244
本章小结 245
