本书共11章，主要内容包括深度学习简介、Python基础、神经网络基础、卷积神经网络、经典卷积网络结构、迁移学习、循环神经网络、强化学习、深度强化学习、基于策略的算法更新与趋势等，通过具体案例，将Python语言、深度学习思想、强化学习思想和实际工程完美地结合起来。本书由浅入深，从易到难，各章节既相对独立又前后关联，其最大的特点就是打破了传统书籍的讲解方法，在介绍各部分理论基础的同时，搭配具体实例，通过对相关程序的详细讲解进一步加深对理论基础的理解。

无

深度学习是人工智能领域中较为热门的一种机器学习技术。人工智能领域主要研究如何让机器完成通常利用人类智能才能完成的复杂工作，这是一个对人的意识、思维进行模拟和学习的过程。深度学习模仿人类神经网络的工作方式，广泛应用于图像识别、语音识别、自然语言处理等多个领域。常见的人工神经网络（Artificial Neural Network，ANN）有多层感知器（MultiLayer Perceptron，MLP）、卷积神经网络（Convolutional Neural Network，CNN）和循环神经网络（Recurrent Neural Network，RNN）等。
本书在Windows系统下，通过Anaconda搭建虚拟环境，以TensorFlow为框架，使用Python语言，详细阐述了深度学习、强化学习与深度强化学习的实现方法。本书共11章，主要内容包括深度学习简介、Python基础、神经网络基础、卷积神经网络、经典卷积网络结构、迁移学习、循环神经网络、强化学习、深度强化学习、基于策略的算法更新与趋势等，通过具体案例，将Python语言、深度学习思想、强化学习思想和实际工程完美地结合起来。
为了使初学者提高对人工智能的兴趣，并在短时间内掌握深度学习与强化学习的要点，作者在编写过程中注重内容的选择，使本书具有以下特点。
由浅入深，循序渐进：在内容编排上遵循由浅入深、由易到难的原则，将基础知识与大量实例相结合，边学边练。
实例丰富，涉及面广：提供了丰富的Python程序设计实例，内容涉及深度学习与强化学习等。
兼顾原理，注重实用：精简理论内容，在介绍深度学习与强化学习理论知识的同时，更注重实际应用。
本书由哈尔滨工程大学的高敬鹏撰写，其中第3~8章和第9~11章的程序调试分别由哈尔滨工程大学的王旭和王晨悦完成。此外，为本书撰写工作提供帮助的还有宋一兵、管殿柱等，在此对他们表示衷心的感谢。
感谢读者选择了本书，希望本书对读者的工作和学习有所帮助。由于作者水平和经验有限，书中疏漏之处在所难免，敬请读者指正。我的电子邮箱是：heu_tongxin@163.com。

高敬鹏
2020年1月于哈尔滨工程大学

计算机\程序设计

由浅入深，循序渐进
在内容编排上遵循由浅入深、由易到难的原则，将基础知识与大量实例相结合，边学边练。
实例丰富，涉及面广
提供了丰富的Python程序设计实例，内容涉及深度学习与强化学习等。
兼顾原理，注重实用
精简理论内容，在介绍深度学习与强化学习理论知识的同时，更注重实际应用。

前言
第1章　深度学习简介1
1.1　机器学习与深度学习1
1.2　TensorFlow概述2
1.3　环境搭建3
1.3.1　在Windows系统下安装Anaconda3
1.3.2　在Anaconda下安装TensorFlow与Keras6
1.3.3　Spyder编辑器8
第2章　Python基础11
2.1　数据类型11
2.1.1　数值类型11
2.1.2　字符串类型13
2.1.3　布尔类型13
2.2　变量与常量14
2.3　运算符14
2.3.1　运算符概述14
2.3.2　运算符优先级15
2.4　选择与循环15
2.4.1　if语句15
2.4.2　while循环18
2.4.3　for循环20
2.4.4　break和continue21
2.5　列表与元组23
2.5.1　创建23
2.5.2　查询24
2.5.3　修改24
2.5.4　删除26
2.6　字典26
2.6.1　字典的创建27
2.6.2　字典的常规操作27
2.6.3　字典的遍历29
2.7　函数29
2.7.1　函数的定义与调用30
2.7.2　参数传递31
2.8　面向对象编程33
2.8.1　类与对象33
2.8.2　继承与多态34
2.9　思考与练习37
第3章　神经网络基础38
3.1　单层神经网络38
3.2　多层神经网络39
3.2.1　隐藏层39
3.2.2　输入层与输出层41
3.3　激活函数42
3.3.1　Sigmoid函数42
3.3.2　Tanh函数43
3.3.3　Relu函数44
3.3.4　Softmax函数45
3.4　神经网络工作过程45
3.5　损失函数47
3.5.1　均方差函数47
3.5.2　交叉熵函数47
3.6　优化算法48
3.7　反向传播49
3.8　泛化能力52
3.9　多层感知器53
3.10　MNIST数据集54
3.10.1　下载MNIST数据集54
3.10.2　数据预处理56
3.11　Keras实现感知器的手写体识别58
3.11.1　单层感知器手写体识别58
3.11.2　多层感知器手写体识别61
3.12　思考与练习67
第4章　卷积神经网络68
4.1　卷积神经网络结构及原理68
4.1.1　卷积神经网络特点69
4.1.2　卷积层70
4.1.3　池化层72
4.1.4　全连接层73
4.2　卷积神经网络工作过程74
4.3　简单卷积神经网络实现MNIST分类76
4.3.1　MNIST数据集预处理76
4.3.2　简单卷积神经网络搭建77
4.4　CIFAR-10数据集84
4.4.1　下载CIFAR-10数据集85
4.4.2　CIFAR-10数据集预处理87
4.5　简单卷积神经网络实现CIFAR-10分类88
4.6　思考与练习93
第5章　经典卷积网络结构94
5.1　LeNet概述94
5.2　LeNet实现MNIST分类95
5.2.1　MNIST数据预处理95
5.2.2　基于Keras搭建LeNet网络结构95
5.2.3　对LeNet网络模型进行编译、训练、评估与预测98
5.3　AlexNet概述101
5.4　AlexNet实现MNIST分类103
5.4.1　基于Keras搭建AlexNet网络结构103
5.4.2　对AlexNet网络模型进行编译、训练、评估与预测107
5.5　VGG16概述110
5.6　VGG16实现MNIST分类111
5.6.1　基于Keras搭建VGG16网络结构112
5.6.2　对VGG16网络模型进行评估与预测115
5.7　思考与练习117
第6章　经典卷积网络结构进阶118
6.1　GoogLeNet概述118
6.2　GoogLeNet实现MNIST分类119
6.2.1　基于Keras搭建GoogLeNet网络结构119
6.2.2　对GoogLeNet进行训练、评估与预测125
6.3　ResNet概述129
6.4　ResNet50实现MNIST分类131
6.4.1　基于Keras搭建ResNet50网络结构131
6.4.2　对ResNet50网络模型进行训练、评估与预测138
6.5　思考与练习142
第7章　迁移学习143
7.1　基于卷积网络实现迁移学习143
7.2　InceptionV3实现迁移学习144
7.3　Xception实现迁移学习150
7.4　MobileNet实现迁移学习155
7.5　简单卷积网络实现迁移学习164
7.6　思考与练习172
第8章　循环神经网络173
8.1　循环神经网络概述173
8.2　长短期记忆网络174
8.2.1　LSTM前向传播175
8.2.2　LSTM反向传播176
8.3　Reuters数据集176
8.3.1　Reuters数据集概述176
8.3.2　文本信息预处理177
8.4　简单RNN实现Reuters分类180
8.5　LSTM实现Reuters分类185
8.6　思考与练习190
第9章　强化学习191
9.1　初识强化学习191
9.1.1　什么是强化学习192
9.1.2　强化学习能解决什么类型的问题193
9.1.3　强化学习如何解决问题194
9.2　强化学习理论基础194
9.2.1　基本组成元素194
9.2.2　基本模型196
9.2.3　价值函数198
9.3　求解强化学习—有模型199
9.3.1　动态规划与贝尔曼方程199
9.3.2　策略迭代200
9.3.3　值迭代202
9.3.4　值迭代算法实现格子世界202
9.4　求解强化学习—无模型208
9.4.1　蒙特卡罗算法208
9.4.2　时间差分法209
9.4.3　Q-learning算法210
9.4.4　Q-learning实现格子世界211
9.5　思考与练习213
第10章　深度强化学习214
10.1　深度强化学习框架214
10.2　TensorFlow编程216
10.2.1　TensorFlow的计算模型—计算图216
10.2.2　TensorFlow的数据模型—张量219
10.2.3　TensorFlow的运行模型—会话220
10.2.4　TensorFlow变量222
10.2.5　TensorFlow共享变量225
10.3　Gym的安装及使用226
10.3.1　Gym的安装226
10.3.2　Gym的使用227
10.4　基于值的算法更新229
10.4.1　Q-learning实现229
10.4.2　DQN算法原理233
10.4.3　DQN算法实现236
10.4.4　DDQN算法原理241
10.4.5　DDQN算法实现243
10.5　思考与练习248
第11章　基于策略的算法更新与趋势250
11.1　策略梯度法250
11.1.1　策略目标函数251
11.1.2　策略梯度定理252
11.1.3　策略梯度算法实现254
11.2　演员–评论家算法258
11.2.1　演员–评论家算法原理258
11.2.2　演员–评论家算法实现259
11.3　优势演员–评论家算法263
11.3.1　优势演员–评论家算法原理264
11.3.2　优势演员–评论家算法实现265
11.4　异步优势演员–评论家算法269
11.4.1　异步优势演员–评论家算法原理270
11.4.2　异步优势演员–评论家算法实现272
11.5　深度强化学习的发展趋势278
11.6　思考与练习279