生成对抗网络毫无疑问是当今热门的人工智能技术之一，曾被美国《麻省理工科技评论》评选为“全球十大突破性技术”。《生成对抗网络入门指南》是一本结合基础理论与工程实践的入门型书籍，深入浅出地讲解了生成对抗网络的各类模型以及技术发展。本书面向机器学习从业人员、在校相关专业学生以及具备一定基础的人工智能领域爱好者。通过本书的学习，能够了解生成对抗网络的技术原理，并通过书中的代码实例深入技术细节。本书共分12个章节，其中前半部分分别介绍了目前研究领域已经较为成熟的生成对抗网络模型，比如DCGAN、WGAN等等，以及大量不同结构的生成对抗网络变种。本书后半部分介绍了文本到图像的生成、图像到图像的生成、离散数据的生成以及当前前沿的高质量生成技术，结尾总结了目前生成对抗网络在行业应用中的研究与发展。希望本书能够帮助广大读者跟上新技术的前沿，成为人工智能时代的先行者。
无
生成对抗网络（GAN）毫无疑问是 2018 年最热门的人工智能技术，被美国《麻省理工科技评论》评选为 2018 年“全球十大突破性技术”。从 2014 年至今，与 GAN 有关的论文数量急速上升。网络上有人整理了近年来的 GAN 模型，截至 2018 年 2 月已经有超过 350 个不同形态的变种，并且数量仍然在持续增加中。在图像生成模型的质量上，生成对抗网络技术可以说实现了飞跃，很多衍生模型已经在一定程度上解决了特定场景中的图像生成问题。此外，诸如文本到图像的生成、图像到图像的生成等应用研究也让工业界与学术界非常兴奋，为人工智能行业带来了非常多的可能性。
让 GAN 走入大众视野的是 2018 年 10 月举办的一场拍卖会，由法国艺术创作团队 Obvious 使用 GAN 算法生成的画作以 43 万美元的高价被拍走，价格甚至远超同场拍卖的毕加索作品。AI 技术越来越接近人们的生活，如果说 AlphaGo 只是陪你玩游戏的大师，那这次让大家轰动的作品拍卖似乎在挑战人类对于艺术的创作与审美。
在之后的两年中，GAN 从一个尚待完善的新兴技术逐步发展成熟。而在几年前，大部分相关文章关注的还是针对手写数据集进行生成，最近随着谷歌、英伟达等大厂的入局，我们看到了诸如 BigGAN 和 StyleGAN 这样几乎逼真的人脸生成效果，甚至StyleGAN 可以准确地控制生成人脸的状态。这些振奋人心的结果也让相关从业者和技术爱好者渴望了解这些技术背后的原理。
目前网络上关于生成对抗网络的介绍林林总总，越来越多的人对它的出现感到好奇，想知道计算机是如何通过博弈的方法来进行自我优化的。我也曾在知乎上写过一篇介绍性文章，但写完之后总觉得不够尽兴，希望有机会把这个领域相对完整的知识体系呈现在初学者面前，并帮助那些对人工智能技术感兴趣的朋友，让他们尽量少绕弯路，从而了解这个前沿的新兴领域。
本书面向机器学习从业人员、高校相关专业学生以及具备一定基础的人工智能领域爱好者，包含了生成对抗网络的理论知识与项目实践。通过本书的学习，读者能够理解生成对抗网络的技术原理，并通过书中的代码实例了解技术细节。本书尽量避免出现需要高性能计算设备才可以运行的项目，以便读者可以在感受到生成对抗网络的魅力之后，有机会在自己的设备上尝试运行一些项目。只有通过不断实践，才能真正理解生成对抗网络，并将其应用到自己的学习与工作中。
本书主要内容
本书共 12 章。第 1 章为入门章节，为读者介绍人工智能领域目前的发展状况，以及生成对抗网络的基本概念和它在整个研究领域中的状况。第 1 章不会涉及机器学习与深度学习的理论与实践细节，但在之后的生成对抗网络学习中会用到相关概念，因此希望读者可以自己去补全这些基础知识。
第 2 章是编程基础章节，是对机器学习与深度学习编程语言、框架以及工具应用的介绍，涉及的内容包括 Python 语言及第三方工具、TensorFlow 框架以及 Keras 框架。如果你已经具备了深度学习领域的编程基础，可以选择性地跳过本章部分内容。
第 3 章讨论生成对抗网络的整体框架，将按照基础概念、理论推导、可视化理解以及具体工程实践的顺序来带领大家认识 GAN。最后的代码部分使用 TensorFlow 实现，由于不会涉及大量的运算，读者可以按照书中的示例直接在笔记本电脑上运行代码，以加深对知识的理解。
第 4～6 章会在原始 GAN 的基础上介绍各种不同结构，但都是具有标志性特点的GAN。正因为有这样的多样性，才使得该领域一直充满活力。
第 4 章介绍基于深度卷积神经网络的生成对抗网络（DCGAN），这是一种在图像生成领域非常流行的框架结构，由于对于卷积层的使用以及一些其他的优化，该模型在图像生成的时候具有更高的质量。本书会使用 Keras 框架的代码来搭建面向手写数据集的 DCGAN 整体框架以及训练代码。在 Keras 的帮助下，我们可以比较简便地完成整个模型，这也是深度学习框架给大家带来的便利。由于使用了卷积层，所以在笔记本电脑上运行需要花费一些时间，如果读者希望快速得出结果，可以使用第 2 章介绍的云平台进行 GPU 运算。最终，这一章还会给出 DCGAN 的一些创新性应用，这也为之后GAN 在多媒体领域的应用打下了基础。
第 5 章首先介绍目前 GAN 结构存在的问题，并由这个问题出发引出业界著名的模型 WGAN。WGAN 的理论推导看起来有些复杂，但是最终得出的优化方法却简单得令人吃惊。本章的实践部分是在 DCGAN 的 Keras 代码基础上修改完成的，最终读者会发现只需要几处代码调整就可以完成一个理论上更优的模型设计。这也从另一个侧面反映了理论研究的重要性，只有真正懂得事物背后的道理，才能给出最优秀的方案。本章最后会给出对 WGAN 本身算法的改进——WGAN-GP。WGAN-GP 在业界属于比较优秀的方案，官方也给出了开源代码，而且大量的论文会用它作为比较对象。
第 6 章涉及一些不同结构的 GAN，包括监督式学习、半监督式学习与无监督式学习。在这一章中我们也可以看到 GAN 的各种可能性，比如在有标签的条件式生成对抗网络（cGAN）的帮助下，我们可以根据设定好的标签来进行具体分类图片的生成，而通过无标签生成的 InfoGAN 可以让隐含编码（latent code）中的每一项都具有实际意义，并通过调节输入的参数对生成内容进行定制。
第 7 章与第 8 章的核心思想建立在前文 cGAN 研究的基础上，但是方法和网络都进一步做了改进。第 7 章为文本到图像的生成，用户只需输入一句话就可以得到想要的图像。而第 8 章则是用户根据自己提供的图像最终呈现出一幅理想的画面，其中涉及知名的算法 Pix2Pix 以及 CycleGAN 等。这些项目的源码大多是开源的，感兴趣的读者可以根据官网或书中提供的方法对这些模型应用进行试验。
第 9 章主要介绍 GAN 在离散数据上的生成，通过引入策略梯度下降的方法解决了GAN 在离散数据上不可导的问题，其中介绍了著名的方法 SeqGAN。同时，也会介绍在自然语言生成的场景下如何应用与优化基于 GAN 的离散数据生成技术。
第 10 章在离散数据生成的基础上进一步深入，首先会介绍离散决策常用的算法——强化学习，并阐明 GAN 与强化学习之间存在的相互关系。除此之外，也涉及强化学习的衍生方法，包括模仿学习与逆向强化学习，并探讨了它们与 GAN 的结合。
第 11 章首先介绍评估生成模型的一系列标准以及现有的一些难点问题，随后展示了近年来 GAN 的一系列突破性研究，尤其是图像生成质量和多样性方面的提升，重点介绍了目前最强大的两个 GAN 模型——BigGAN 与 StyleGAN。
第 12 章为读者更具体地介绍 GAN 的应用，从多媒体领域讲到艺术与设计领域，展示 GAN 在这些行业的发展中提供了怎样的帮助。由于 GAN 还是一项非常“年轻”的技术，因此也希望通过这一章来启发读者，在实际工作与科研过程中进一步思考还有哪些更好的应用场景，也许它就会成为你使用人工智能技术改变的下一个行业。
相较于第 1 版，本书新增的章节为第 9～11 章，重点介绍了最近 GAN 技术发展的新技术与应用。而且，本书修订了第 2 章的基础知识介绍部分，从 TensorFlow 1.0 全面升级到了 TensowFlow 2.4。在此基础上，其他章节中的所有代码也都支持 TensorFlow2.4 版本。除此之外，部分内容也已根据技术发展进行了微调。
致谢
首先要感谢学术界数不清的优秀科研人员耕耘在科学技术的前沿，正是他们产出的高质量研究成果以及论文推动着时代的发展，带来了这个全新的人工智能时代。本书也是站在巨人的肩膀上，大量参考了相关的文献材料，没有这些研究者就没有这本书的诞生。也要感谢互联网上愿意分享的优秀技术博主和开发者，我从他们的分享中学到了太多太多。感谢开源平台 GitHub 聚集了数不清的开发者，开源精神让开发变得更加便捷，
也让知识传播更加高效。
感谢机械工业出版社的朱捷先生对我的支持，他在我写作的过程中提供了非常多的思路与帮助，也正是由于他对我的认可和鼓励，才促成了我完成本书。此外也感谢所有为本书的出版付出过努力的工作者。
最后感谢我的父母以及教导我的老师，是他们的栽培成就了现在的我，在这里再一次感恩他们对我的付出。
与我联系
读者可以通过知乎（https://www.zhihu.com/people/shidanqing）与我取得联系，我很乐意收到您的私信，并与您进行相关技术的交流。敬请各位读者与行业专家对本书不足的地方予以批评和指正。
计算机\人工智能
从2014年至今，与GAN有关的论文数量急剧增加，从谷歌学术的数据来看，数量仍在不断增加中。究其原因，除了科学研究本身的魅力之外，诸如文本到图像的生成、图像到图像的生成等应用研究也让业界非常兴奋，给人工智能领域带来诸多可能性。
本书是GAN的入门书籍，结合基础理论、工程实践进行讲解，深入浅出地介绍GAN的技术发展以及各类衍生模型。本书面向机器学习从业人员、高校相关专业学生以及具备一定基础的人工智能技术爱好者。书中包含GAN的理论知识与代码实践（示例代码可以从华章官网搜索下载），可帮助读者理解GAN的技术原理与实现细节。
本书主要内容
人工智能入门知识与开发工具
GAN的理论与实践
DCGAN、WGAN、cGAN等主流GAN衍生模型
文本到图像、图像到图像以及离散数据的生成方法
GAN与强化学习的关联
BigGAN、StyleGAN等前沿GAN模型
多媒体与艺术设计领域中的GAN应用
史丹青 编著：史丹青, 语忆科技联合创始人兼技术负责人，毕业于同济大学电子信息工程系。拥有多年时间的AI领域创业与实战经验，具备深度学习、自然语言处理以及数据可视化等相关知识与技能。是AI技术的爱好者，并拥抱一切新兴科技，始终坚信技术分享和开源精神的力量。
第 1 章 人工智能入门 1
1.1 人工智能的历史以及发展 1
1.1.1 人工智能的诞生 3
1.1.2 人工智能的两起两落 6
1.1.3 新时代的人工智能 8
1.2 机器学习与深度学习 10
1.2.1 机器学习分类 11
1.2.2 神经网络与深度学习 12
1.2.3 深度学习的应用 13
1.3 了解生成对抗网络 15
1.3.1 从机器感知到机器创造 15
1.3.2 什么是生成对抗网络 18
1.4 本章小结 20
第 2 章 预备知识与开发工具 21
2.1 Python 语言与开发框架 21
2.1.1 Python 语言 21
2.1.2 常用工具简介 23
2.1.3 第三方框架简介 26
2.2 TensorFlow 基础入门 27
2.2.1 TensorFlow 简介与安装 27
2.2.2 TensorFlow 实例：图像分类 30
2.3 Keras 基础入门 32
2.3.1 Keras 简介与安装 32
2.3.2 Keras 使用入门 34
2.3.3 Keras 实例：文本情感分析 37
2.4 本章小结 39
第 3 章 理解生成对抗网络 40
3.1 生成模型 40
3.1.1 生成模型简介 40
3.1.2 自动编码器 42
3.1.3 变分自动编码器 44
3.2 GAN 的数学原理 47
3.2.1 最大似然估计 47
3.2.2 GAN 的数学推导 50
3.3 GAN 的可视化理解 54
3.4 GAN 的工程实践 55
3.5 本章小结 63
第 4 章 深度卷积生成对抗网络 64
4.1 DCGAN 的框架 64
4.1.1 DCGAN 设计规则 64
4.1.2 DCGAN 框架结构 68
4.2 DCGAN 的工程实践 69
4.3 DCGAN 的实验性应用 77
4.3.1 生成图像的变换 77
4.3.2 生成图像的算术运算 79
4.3.3 残缺图像的补全 81
4.4 本章小结 83
第 5 章 Wasserstein GAN 84
5.1 GAN 的优化问题 84
5.2 WGAN 的理论研究 88
5.3 WGAN 的工程实践 91
5.4 WGAN 的实验效果分析 95
5.4.1 代价函数与生成质量的相关性 95
5.4.2 生成网络的稳定性 96
5.4.3 模式崩溃问题 99
5.5 WGAN 的改进方案：WGAN-GP 99
5.6 本章小结 103
第 6 章 不同结构的 GAN 104
6.1 GAN 与监督式学习 104
6.1.1 条件式生成：cGAN 104
6.1.2 cGAN 在图像上的应用 106
6.2 GAN 与半监督式学习 109
6.2.1 半监督式生成：SGAN 109
6.2.2 辅助分类生成：ACGAN 111
6.3 GAN 与无监督式学习 112
6.3.1 无监督式学习与可解释型特征 112
6.3.2 理解 InfoGAN 114
6.4 本章小结 119
第 7 章 文本到图像的生成 120
7.1 文本条件式生成对抗网络 120
7.2 文本生成图像进阶：GAWWN 124
7.3 文本到高质量图像的生成 127
7.3.1 层级式图像生成：StackGAN 128
7.3.2 层级式图像生成的优化：StackGAN-v2 133
7.4 本章小结 135
第 8 章 图像到图像的生成 136
8.1 可交互图像转换：iGAN 136
8.1.1 可交互图像转换的用途 136
8.1.2 iGAN 的实现方法 138
8.1.3 iGAN 软件简介与使用方法 141
8.2 匹配数据图像转换：Pix2Pix 144
8.2.1 理解匹配数据的图像转换 144
8.2.2 Pix2Pix 的理论基础 146
8.2.3 Pix2Pix 的应用实践 150
8.3 非匹配数据图像转换：CycleGAN 157
8.3.1 理解非匹配数据的图像转换 157
8.3.2 CycleGAN 的理论基础 162
8.3.3 CycleGAN 的应用实践 165
8.4 多领域图像转换：StarGAN 171
8.4.1 多领域的图像转换问题 171
8.4.2 StarGAN 的理论基础 174
8.4.3 StarGAN 的应用实践 177
8.5 本章小结 182
第 9 章 序列数据的生成 183
9.1 序列生成的问题 183
9.2 GAN 的序列生成方法 184
9.3 自然语言生成 187
9.4 本章小结 191
第 10 章 GAN 与强化学习及逆向强化学习 192
10.1 GAN 与强化学习 192
10.1.1 强化学习基础 192
10.1.2 Actor-Critic 195
10.1.3 GAN 与强化学习的关联 196
10.2 GAN 与逆向强化学习 197
10.2.1 逆向强化学习基础 197
10.2.2 经典 IRL 算法 198
10.2.3 GAN 的模仿学习：GAIL 200
10.3 本章小结 201
第 11 章 新一代 GAN 202
11.1 GAN 的评估方法 202
11.2 GAN 的进化 205
11.2.1 SNGAN 与 SAGAN 205
11.2.2 BigGAN 206
11.2.3 StyleGAN 208
11.3 本章小结 210
第 12 章 GAN 的应用与发展 211
12.1 多媒体领域的应用 211
12.1.1 图像处理 211
12.1.2 音频合成 218
12.2 艺术领域的应用 221
12.2.1 AI 能否创造艺术 221
12.2.2 AI 与计算机艺术的发展 223
12.2.3 艺术生成网络：从艺术模仿到创意生成 231
12.3 设计领域的应用 238
12.3.1 AI 时代的设计 238
12.3.2 AI 辅助式设计的研究 240
12.4 安全领域的应用 249
12.5 本章小结 252
参考文献 253
