内容简介
本书由微软亚洲研究院的资深AI工程师撰写，是一本面向初学者的、以实战为导向的深度学习指南。
本书首先详细讲解了深度学习的知识体系、核心概念、模型与算法、工具和库（TensorFlow等）等全栈技术知识，然后以案例的形式讲解了如何将这些知识应用到计算机视觉、自然语言处理、语音识别、对话机器人、人脸识别、自动驾驶领域。
全书一共分为10章：
第1章从宏观的角度系统地梳理了深度学习的适用领域、发展过程、知识图谱，以及各种工具与平台，目的是让读者对这个领域有一个整体性的认识，为后面的学习打下基础；
第2章从微观的角度结合CNN、RNN等神经网络详细阐述了深度学习的核心概念、经典模型和算法；
第3章和第4章对深度学习框架TensorFlow进行了全面的讲解，从基本的安装、配置，到高级特性和性能优化，面面俱到，能引领读者快速掌握TensorFlow的基本使用。
第4~8章在前4章的基础上，以实战的方式讲解了如何以TensorFlow为工具，将深度学习的各项技术应用到语音识别、对话机器人、人脸识别、自动驾驶等领域。结合实际的应用场景，比生硬地讲技术知识点效果会更好。
第9~10章讲解了深度学习的可视化实践和性能优化实践。
深度学习涉及的知识门类多且复杂，初学者进入这个领域的门槛很高，本书作者结合自己多年的学习和实战经验，提炼出了初学者应该掌握的关键技术，指引性非常强，大大降低了学习的难度。此外，以实战为导向的知识点串讲方式，也能让读者学得更轻松。
微软亚洲研究院AI工程师撰写，以实战为导向的深度学习全栈技术指南
详细讲解深度学习的知识体系、核心概念、模型、算法、工具和库，以及它们在语音识别、聊天机器人、人脸识别、自动驾驶等领域的实践方法
为什么要写这本书
随着国内各个AI峰会的召开，各个开源深度学习框架meetup的火爆举行，深度学习技术的发展正在如火如荼地进行之中，很多公司已经将深度学习技术大范围落地并且应用于生产之中。深度学习的研发人员已经从最初的通过优化算法，在公开数据集上取得不俗的成绩，转变到如今在应用的引导之下，设计优化深度学习算法并将其用于生产之中。写一本深度学习技术与实用案例类的技术图书是我持续了很久的想法。由于工作和学习较为紧张，最初只是对参与或学习过的深度学习相关案例进行了总结，但是随着时间的推移，最终我还是打算将其中通用的算法、模块流程以及应用场景抽象出来，进行适当简化并整理成书，这也算是我对深度学习的一个总结和分享。
深度学习是发源于人工神经网络的一种机器学习模型，它立足于更深的模型，具有更强的拟合能力，在计算机视觉、语音识别、自然语言处理等领域均取得了不俗的成果，并在其他应用场景中也逐步获得了傲人的成绩。深度学习已成为当下最受关注的人工智能技术，拥有着庞大的社区支持，应用场景与工具支持也日趋完善。
现在越来越多的同行已经了解并且开始应用深度学习技术。但是对于工程师和研发人员来说，市场上还缺少一本关于深度学习的实用案例类图书，很多深度学习初学者和开发人员只能参考网络上零星的技术博客或文档，这使得学习过程变得零碎且艰难，而本书正是为了解决这些的问题而着意编写的。
本书希望展现给读者一个系统化的视角，秉承大道至简的主导思想，讲解深度学习的基本原理，以及如何在深度学习技术上构建复杂的人工智能应用，帮助读者开启深度学习技术应用之旅。
本书特色
从技术层面上讲，本书介绍了人工智能领域中发展势头正盛的深度学习技术和应用。深度学习作为一种机器学习算法，不仅具有模型结构的灵活性，可快速构建适用于不同领域的模型结构与算法，同时具有强大的模型拟合能力，能够在GPU等硬件，TensorFlow等软件层框架的支撑下，发挥人工智能解决问题的能力，依托于深度网络的通用学习能力，快捷地构建广受欢迎的人工智能产品。
从适合读者阅读和掌握知识的角度进行结构安排，从深度学习基本概念和机制介绍入手，结合TensorFlow及其相关深度学习框架，构建相应的网络结构实战案例，并在最后结合不同的应用场景构建人工智能应用。本书所讲内容涵盖较为全面，不仅介绍了基本原理，如何进行深度学习，同时结合应用场景构建应用，还总结了一些实用经验。
书中一些实际操作和应用相关的章节，比较适合人工智能和机器学习开发人员参考，可以作为工作手边书；算法和优化实践方面的章节，则比较适合机器学习和算法工程师，可以分享经验，用于拓展解决问题的思路。
读者对象
深度学习与人工智能初学者
深度学习与人工智能应用开发人员
机器学习爱好者
开源软件爱好者
其他对深度学习与人工智能技术感兴趣的人员
如何阅读本书
本书共计10章，各章内容安排概括如下。
第1章从深度学习的概念出发，介绍深度学习的来龙去脉，阐述深度学习技术的知识图谱以及不同层面的技术概览。
第2章详细介绍了深度学习机制、典型模型原理与设计初衷。
第3章详细介绍了深度学习框架TensorFlow，以实战加深对深度学习技术的理解，为后续使用奠定基础。
第4章详细介绍了TensorFlow的高阶特性与实战优化最佳实践。
第5章从实际出发，详细介绍如何通过深度学习技术构建语音识别器，采用主流深度学习语音识别模型作为实例。
第6章详细介绍了对话机器人领域的技术，以及如何通过深度学习技术构建对话机器人。
第7章详细介绍了深度学习的重要应用领域——人脸识别，以及主流的人脸识别模型与实践。
第8章介绍了自动驾驶领域的相关技术，以及如何通过深度学习进行车辆检测和端到端的自动驾驶解决方案。
第9章详细介绍了深度学习与人工智能中可视化的实例，使得研发人员能够更加直观地诊断优化和呈现结构。
第10章总结了深度学习训练和推断中可能会涉及的、需要注意和调节的优化点，希望他山之石可以攻玉。
如果你有一定深度学习的经验，能够理解深度学习和TensorFlow的相关基础知识和使用技巧，那么可以直接阅读本书第5～10章。如果你是一名初学者，最好从第1章的基础知识开始学起。
勘误和支持
由于水平有限，编写时间仓促，书中难免会出现一些错误或者不准确的地方，恳请读者批评指正。如果你有更多的宝贵意见，请反馈给我们，我们会尽量为你提供最满意的解答，欢迎读者朋友加QQ群（687690969）进行技术交流。
你可以通过微博@高彦杰gyj，公共号“戏说AI大数据”，邮箱“gaoyanjie55@163.com”联系到高彦杰。
你也可以通过知乎专栏“神经网络学习与Tensorflow.实践”，邮箱“cangye@hotmail.com”联系到于子叶。
期待能够得到你的真挚反馈，在技术之路上互勉共进。
致谢
感谢机械工业出版社华章分社的编辑杨福川和张锡鹏，在近半年的时间里始终支持我们的写作，是你们的鼓励和帮助引导我们顺利完成全部书稿。
特别致谢
谨以此书献给我们最亲爱的爱人、家人、同事，以及众多热爱深度学习与人工智能技术的朋友们！
计算机\人工智能
以深度学习为代表的人工智能正在改变着工程师解决问题的方式。深度学习算法应用非常广泛，在计算机视觉、自然语言处理、语音识别中都取得了不俗的成绩，并逐渐在其他机器学习问题中取代原有算法。本书首先介绍了深度学习算法的基础，随后带领你进入一个引人入胜的深度学习世界，你将领略到深度学习技术与应用的魅力及挑战。本书将使用基于TensorFlow等库，带你一起攻克人脸识别、语音识别、对话机器人与自动驾驶等领域中的问题。同时，除了经典算法的学习，你还可以了解深度学习的主流开发工具的使用以及实践经验。
通过阅读本书，你将：
透彻理解深度学习的算法与模型
通过代码具体实现各种深度学习模型
用最流行的深度学习框架TensorFlow探究神经网络
深入了解深度学习算法的应用领域
探索通过深度学习构建语音识别器
庖丁解牛深度学习在对话机器人中的应用
理解深度学习在人脸识别中的应用
了解自动驾驶中的深度学习的作用
了解围绕深度学习的主流开发工具与工程实践经验
高彦杰 于子叶 著：作者简介
高彦杰
资深大数据和人工智能研发工程师，任职于微软亚洲研究院。专注AI深度学习平台及数据处理技术，参与多项AI与数据处理相关项目，对AI底层系统到上层算法应用都有广泛的兴趣与研究。
对Hadoop和Spark等大数据技术有非常深入的研究和丰富的实践经验，著有畅销书《Spark：大数据技术，应用与性能优化》和《Spark大数据分析实战》。
于子叶
算法工程师，就职于华生基因，中科院博士。曾参与电磁异常监测与四川地区灾害智能识别系统。专注于图形、信号相关的机器学习方法。对算法底层原理有深入研究。
较早接触TensorFlow，对深度学习等人工智能技术有非常深入的研究，曾参与多个机器学习项目的研发。数学基础深厚，是较少进行基础理论研究的工作者，对现有自然科学所需算法从原理到实践均有深入的研究。此外，对高性能计算HPC也有较为系统和深入的认识。
前言
第1章 了解深度学习 1
1.1 什么是深度学习 1
1.1.1 深度学习能解决的问题 2
1.1.2 深度学习适用的领域 3
1.2 深度学习的技术发展 6
1.2.1 基础技术发展 7
1.2.2 应用技术发展 8
1.3 深度学习的知识点汇总 10
1.3.1 深度学习的预备技术 11
1.3.2 深度学习的技术构成 12
1.3.3 深度学习向其他行业与技术领域的延伸 13
1.4 深度学习工具与平台介绍 15
1.4.1 深度学习框架 15
1.4.2 深度学习基础架构 18
1.4.3 深度学习开发工具 19
1.4.4 深度学习辅助工具 20
1.4.5 深度学习云平台服务 20
1.5 本章小结 22
1.6 参考资料 23
第2章 深度学习技术 24
2.1 深度学习基础 24
2.1.1 感知器 26
2.1.2 激活函数 27
2.1.3 输入层、隐藏层、输出层 29
2.1.4 前向传播与反向传播求导 29
2.2 CNN 30
2.2.1 前馈网络解决图像存在的问题 31
2.2.2 卷积神经网络 31
2.2.3 图像的几个不变性 33
2.2.4 卷积 34
2.2.5 池化 38
2.2.6 Inception 39
2.2.7 Flatten层和全连接层 39
2.2.8 跳层连接 40
2.2.9 经典CNN 41
2.3 RNN 41
2.3.1 RNN结构 42
2.3.2 基本结构与前向传播 43
2.3.3 BPTT 44
2.3.4 LSTM 46
2.3.5 RNN拓展 50
2.4 最优化算法 52
2.4.1 梯度下降 52
2.4.2 Adam 54
2.5 本章小结 56
第3章 TensorFlow基础 57
3.1 TensorFlow 57
3.2 获取与安装 60
3.3 变量及作用域 61
3.4 构建计算图 66
3.5 全连接网络构建 71
3.6 CNN构建 78
3.7 RNN构建 82
3.8 多架构运行 85
3.8.1 GPU使用 85
3.8.2 多CPU使用 86
3.9 队列使用 88
3.10 本章小结 89
第4章 TensorFlow进阶 90
4.1 TensorFlow架构与原理 90
4.2 TensorFlow扩展 93
4.2.1 TF Layers 94
4.2.2 TF Slim 95
4.2.3 TFLearn 96
4.2.4 Keras 99
4.3 Tensorboard与问题监控 101
4.4 改善深度神经网络 103
4.5 性能优化建议 105
4.6 深度神经网络结构 107
4.6.1 Inception结构 107
4.6.2 ResNet结构 108
4.6.3 Seq2Seq结构 108
4.6.4 Attention 109
4.7 本章小结 110
第5章 语音识别器 111
5.1 任务分析 111
5.2 数据与特征分析 114
5.2.1 语音数据库 114
5.2.2 语音数据特征 115
5.3 主流语音识别网络结构 119
5.3.1 用于语音识别的CNN 120
5.3.2 用于语音识别的RNN 122
5.4 CTC Loss 123
5.5 文本向量化 126
5.5.1 英文文本向量化 126
5.5.2 中文文本向量化 129
5.5.3 文本标签比对 130
5.6 完整构建神经网络 131
5.6.1 构建CNN识别网络 132
5.6.2 用于语音识别的RNN 136
5.7 数据训练 138
5.8 参数调优 140
5.9 实际数据分析 141
5.10 本章小结 142
第6章 对话机器人 143
6.1 对话机器人概述与应用领域 143
6.2 对话机器人主流技术 145
6.2.1 基于模板的对话机器人 145
6.2.2 基于检索技术的对话机器人 146
6.2.3 基于深度学习的对话机器人 146
6.3 对话机器人的前沿与功能扩展 147
6.4 深度学习对话机器人原理 149
6.5 构建对话机器人 150
6.5.1 Bot界面与交互 150
6.5.2 语料预处理 155
6.5.3 模型构建 161
6.5.4 训练流程 163
6.5.5 在线推断 165
6.6 本章小结 166
第7章 人脸识别器 167
7.1 任务分析 167
7.2 Detection、Aliment与Identify 170
7.3 数据特征分析 172
7.3.1 人脸位置和范围数据 173
7.3.2 人脸关键点数据 174
7.3.3 人脸识别数据库 176
7.4 haar分类器方式 178
7.4.1 固定特征的提取 178
7.4.2 分类器 180
7.4.3 代码实现 182
7.5 神经网络方法演进 183
7.6 人脸识别网络构建 185
7.6.1 人脸检测网络MTCNN 185
7.6.2 用于人脸检测的GoogleNet 188
7.7 主流人脸识别网络差异分析 190
7.8 TensorFlow搭建网络 191
7.9 参数调优 193
7.10 实战分析 195
7.11 本章小结 197
第8章 自动驾驶 198
8.1 自动驾驶的介绍与应用领域 198
8.1.1 自动驾驶的应用场景 199
8.1.2 自动驾驶分级 199
8.2 自动驾驶技术 201
8.2.1 端到端的自动驾驶历史 202
8.2.2 底层硬件支撑技术平台 203
8.3 深度增强学习 204
8.4 行车检测 208
8.4.1 物体检测 208
8.4.2 YOLO模型 209
8.4.3 车辆图像数据探索 211
8.4.4 车辆视频数据预处理 212
8.4.5 迁移学习 212
8.4.6 模型推断 213
8.4.7 绘制检测结果 213
8.5 端到端自动驾驶 216
8.5.1 英伟达End to End模型 216
8.5.2 评估指标 219
8.5.3 数据分析 219
8.5.4 读入视频，并处理图像 222
8.5.5 深度学习模型构建与训练 222
8.5.6 可视化结果 223
8.6 本章小结 224
8.7 参考资料 224
第9章 可视化实践 225
9.1 可视化发展 225
9.2 可视化过程 227
9.3 Matplotlib 228
9.4 ECharts 230
9.5 可视化实践 232
9.6 三维可视化 234
9.7 动态可视化 237
9.8 本章小结 239
第10章 优化实践 240
10.1 通用深度神经网络训练优化建议 240
10.1.1 过拟合与欠拟合 242
10.1.2 数据增强 244
10.1.3 梯度消失 245
10.1.4 初始化权值 245
10.1.5 优化算法 246
10.1.6 超参数选择 247
10.2 深度学习系统性能优化建议 250
10.2.1 输入及预处理流水线优化 250
10.2.2 数据格式 251
10.2.3 编译优化 252
10.2.4 GPU性能瓶颈诊断 252
10.2.5 CPU瓶颈优化 254
10.2.6 模型压缩 255
10.3 工程实践建议 256
10.3.1 Model格式转换 256
10.3.2 迁移学习 256
10.3.3 在线推断TensorFlow Serving 259
10.4 本章小结 260
