本书全面、系统地介绍了深度学习技术在人脸图像处理领域中的应用。书中不但有人脸图像处理算法的详细介绍，更有实际案例带领读者上手练习。
本书共11章，第1章介绍了人脸图像与特征基础；第2章介绍了深度学习的基础知识；第3章介绍了人脸数据集；第4章介绍了人脸检测技术；第5章介绍了人脸关键点检测；第6章介绍了人脸识别技术；第7章介绍了人脸属性识别；第8章介绍了人脸属性分割技术；第9章介绍了人脸美颜与美妆；第10章介绍了人脸三维重建；第11章介绍了人脸属性编辑。
本书适合计算机视觉领域中人脸图像处理从业人员和爱好者阅读，也适深度学习算法爱好者阅读。

“有三AI”大力支持，业内4位大咖力荐
作者曾供职于奇虎360人工智能研究院与陌陌深度学习实验室，现运营“有三AI”公众号
凝聚作者7余年的传统图像算法与深度学习算法的研究心得和实践经验


聚焦人脸图像处理的核心技术与典型应用场景
详解人脸图像处理的核心算法与八大经典案例

为什么要写这本书
　　笔者快30岁了，从记事起至今，深刻地感受到了技术发展给生活带来的巨大变化。近10年来，以深度学习为代表的技术在计算机视觉领域有了大量的落地应用，更是改变了人们的生活方式。
　　在所有的图像中，人脸图像是研究最多、应用最广泛的，也是我们每天无时无刻不在接触的图像。人脸的检测和识别使人们摆脱了传统的数字密码支付方式，带来了便利的刷脸支付，让追捕犯罪分子、找寻走失儿童和老人变得更加容易。人脸图像的美容技术催生了美颜相机的应用，增强了社交平台的娱乐性及被拍摄者的自信；人脸分析技术让产品生产者增加了对使用者的了解；人脸编辑技术不断降低着内容创作的成本。
　　在近5年的从业经历中，笔者的大部分工作都与人脸图像相关，这让笔者深刻地感受到底层技术的重要性及它在当前人类社会中的应用和未来的潜在应用，因此笔者历时一年多的时间，对多年的相关知识积累和深度学习项目经验进行梳理和总结，完成了本书的写作。
本书特色
　　1．内容系统，讲解循序渐进
　　本书首先从人脸图像的特点、应用和特征基础开始讲起，然后过渡到对人脸各个方向数据集的介绍，让读者对人脸图像的应用有一个全面的了解；随后从最底层的人脸检测、人脸关键点检测起笔，介绍学习后续内容需要掌握的基础知识；接着按照人脸识别、人脸属性识别、人脸属性分割、人脸美颜与美妆、人脸三维重建、人脸属性编辑的研究领域和方向进行原理介绍和实践，覆盖大量的应用场景。
　　2．内容全面、新颖、前沿
　　本书第4～11章针对人脸图像各个方向的技术和应用进行系统介绍。虽然本书专注于深度学习技术，但是仍然会介绍一些重要的传统算法，以便读者了解这些技术，做到融会贯通。本书重点介绍深度学习技术近些年来的发展脉络，这些内容非常新颖，也比较前沿。
　　3．理论与实践紧密结合
　　本书完整地剖析了人脸图像算法在各个研究领域和应用方向上涉及的相关知识，书中的内容不局限于对理论知识的阐述和对简单结果的展示，而是从夯实理论知识到完成实践应用一气呵成。读者跟随本书进行学习，定会对人脸图像的核心算法有比较深入的理解。
本书内容
　　第1章人脸图像与特征基础，简单介绍人脸图像的特点，以及常用的底层特征和机器学习基础。本章是全书的基础。
　　第2章深度学习基础，简单介绍BP全连接神经网络，重点介绍卷积神经网络基础和深度学习中的优化方法，后者包括激活函数、归一化方法、最优化方法、正则化方法等，旨在让读者掌握深度卷积神经网络中的基础知识。
　　第3章人脸数据集，对人脸的各个方向的数据集进行全面介绍，涵盖人脸检测、关键点检测、人脸识别、人脸表情、人脸年龄、人脸三维重建等。
　　第4章人脸检测，讲述目标检测的基础知识和基本流程，回顾经典的人脸检测算法，总结基于深度学习的目标检测任务的研究方法与发展现状，以及基于深度学习的人脸检测技术的发展和人脸检测的特点与难点，并基于Faster R-CNN框架完成人脸检测模型的训练实践。
　　第5章人脸关键点检测，讲述人脸关键点检测的基础知识和基本流程，回顾经典的关键点检测算法，并介绍基于深度学习的关键点检测算法的核心技术，完成一个轻量级人脸关键点检测模型的训练实践。
　　第6章人脸识别，介绍人脸识别算法的基本流程及传统的人脸识别特征，总结深度学习人脸识别的基本框架和优化目标及人脸识别算法中的主要难题，并完成人脸识别模型的训练实践。
　　第7章人脸属性识别，介绍人脸性别识别、人脸颜值与脸型识别、人脸年龄识别、人脸表情识别等人脸属性的分析技术，完成轻量级人脸表情识别和年龄估计模型的训练实践。
　　第8章人脸属性分割，介绍图像分割的基础知识，总结基于深度学习的图像分割核心技术，完成轻量级人脸属性分割模型的训练实践。
　　第9章人脸美颜与美妆，介绍传统的人脸美颜图像处理技术及妆造迁移算法，并完成模型的训练实践。
　　第10章人脸三维重建，介绍人脸三维重建的基础和传统的人脸三维重建技术，总结基于深度学习的人脸三维重建核心技术并完成实战训练。
　　第11章人脸属性编辑，介绍人脸属性编辑的基础知识和应用，重点介绍基于深度学习的人脸属性编辑方法，并完成UGATIT人脸动画头像模型生成实践。
配书资源获取方式
　　笔者将本书涉及的全部源代码等配套学习资料分享到了微信公众号“有三AI”的相关栏目中，读者可以通过公众号中的相关菜单找到配书资源并获取。另外，读者也可以到机工新阅读网站（www.cmpreading.com）上搜索本书页面，找到下载链接进行下载。
本书读者对象
　　本书是一部专门讲解人脸图像各领域算法和应用的书籍，对读者有以下要求：
* 必须具备基本的数学知识，包括概率论、矩阵论和最优化理论等；
* 具备基本的传统数字图像处理知识和计算机视觉理论知识，对人脸图像有较多了解；
* 熟练掌握Python编程，并掌握Caffe、TensorFlow和PyTorch等主流的深度学习框架。
　　本书适合以下读者：
* 从事或者即将从事人脸图像算法的研究人员和工程师；
* 想系统地了解和学习人脸图像算法应用的相关人员；
* 学习人脸图像算法的高校学生及培训机构的学员；
* 讲授深度学习在人脸图像各领域的算法原理和应用的老师及培训机构的讲师；
* 计算机视觉技术爱好者。
致谢
　　感谢黄海娜同学！她编写了本书的第1章，并细心地编辑了其中的大量公式和图表。
　　感谢欧振旭编辑！他对本书的出版提出了许多有益建议；也感谢其他参与本书出版的编辑！他们对书稿做了大量的编辑和校对工作，使本书质量得到了不小的提升。
　　感谢“有三AI”微信公众号和“有三AI”知识星球的忠实粉丝们！是你们的大力支持，尤其是付费阅读，让笔者有了坚持前行的力量。
　　感谢GitHub开源项目的贡献者！是你们无私的技术分享，让更多人受益匪浅，这是这个技术时代里伟大的事情之一。
　　感谢提出了书中算法的研究人员！有了你们的辛苦原创，才有了本书的面市。
　　感谢360人工智能研究院和陌陌深度学习实验室的同事！曾经与你们一起学习，一起进步，这是笔者近几年中最大的财富。
　　最后感谢我的家人！没有你们的宽容和支持，我无法完成本书。为了自己的事业，我留给你们的时间太少，希望以后我能做得更好。
售后支持
　　本书聚焦于人脸图像的相关算法，尤其是深度学习技术在该领域中的应用。在本书出版之前，笔者已经在所维护的微信公众号、知乎、知识星球等平台上做了很多分享，本书可看作一个更加系统的总结。读者在以上平台搜索“有三AI”并关注，即可加入社区，获取更新的知识。
　　因作者水平和写作时间所限，书中可能还存在疏漏和不足之处，敬请各位读者批评与指正，也欢迎各位读者提出宝贵的建议。本书售后服务E-mail为hzbook2017@163.com。
　　
微信公众号：有三AI
　
　　言有三于北京
　　2020年1月1日

计算机/人工智能/深度学习与神经网络

业内赞誉：

人脸图像在计算机视觉领域的应用非常广泛，几乎每一个从事计算机视觉领域相关工作的技术人员都会有所涉及。本书从人脸图像的各种应用场景出发，介绍了以深度学习模型为主的核心技术，理论知识翔实，实践案例丰富，适合从事人脸图像相关工作的技术人员阅读。
——依图科技CTO/新加坡工程院院士/IEEE Fellow　颜水成

人脸识别是计算机视觉领域比较成功的技术之一，有着大量的落地应用。其成功离不开以深度卷积神经网络为主的深度学习技术。本书全面介绍了基于深度学习的人脸识别方法及相关应用，囊括人脸检测、特征点定位、人脸识别、人脸属性估计、人脸部件分割、3D人脸重建、人脸美颜与美妆等常用技术。本书内容全面，案例丰富，实用性强，不仅适合人脸识别领域的研究人员、从业者和技术爱好者阅读，也对计算机视觉、模式识别和机器学习等领域的从业者有参考价值。
——中科院计算所研究员/智能信息处理重点实验室常务副主任　山世光

随着移动互联网的全面发展，深度学习在人脸图像领域的应用层出不穷。本书围绕深度学习技术，详细地介绍了人脸图像处理的相关知识，并配以丰富的算法实践。通过阅读本书，读者可以更加全面地了解相关的理论知识及应用，并系统地掌握人脸图像处理技术。
——新智元创始人/CEO　杨静

深度学习在产业界的崛起始于ImageNet。中国在人脸图像应用领域也走在了世界前沿，屡屡斩获全球大赛冠军奖项。但是业界还是缺乏系统地讲解人脸图像核心算法理论和实践的书籍。言有三在深度学习领域深耕多年，积累了丰富的人脸图像处理项目经验，他的这本书详细地介绍了人脸图像在各种应用场景中所需要的核心技术，丰富和充实了基于深度学习的人脸图像处理类图书市场。
——美图公司MTlab负责人　许清泉

前言
第1章 人脸图像与特征基础 1
1.1 人脸图像基础 1
1.1.1 人脸图像的特点 1
1.1.2 人脸图像的应用 2
1.2 人脸特征基础 2
1.2.1 几何特征 3
1.2.2 颜（肤）色特征 3
1.2.3 纹理特征 5
1.3 人脸图像工程常用的机器学习算法 8
1.3.1 SVM简介 8
1.3.2 AdaBoost简介 12
第2章 深度学习基础 15
2.1 神经网络 15
2.1.1 神经元模型 15
2.1.2 感知机 16
2.1.3 BP算法 17
2.2 卷积神经网络基础 20
2.2.1 卷积操作 20
2.2.2 反卷积操作 21
2.2.3 卷积神经网络的基本概念 22
2.2.4 卷积神经网络的核心思想 24
2.2.5 卷积神经网络基本结构配置 25
2.3 深度学习优化基础 28
2.3.1 激活模型与常用激活函数 29
2.3.2 参数初始化方法 35
2.3.3 归一化方法 37
2.3.4 池化 42
2.3.5 最优化方法 43
2.3.6 学习率策略 47
2.3.7 正则化方法 50
2.4 深度学习主流开源框架介绍 53
2.4.1 Caffe简介 54
2.4.2 TensorFlow简介 54
2.4.3 PyTorch简介 55
2.4.4 Theano简介 56
2.4.5 Keras简介 56
2.4.6 MXNet简介 57
2.4.7 Chainer简介 57
参考文献 58
第3章 人脸数据集 60
3.1 人脸检测数据集 60
3.1.1 通用人脸检测数据集 60
3.1.2 复杂人脸检测数据集 62
3.2 关键点检测数据集 63
3.3 人脸识别数据集 65
3.3.1 人脸识别图像数据集 65
3.3.2 人脸识别视频数据集 69
3.3.3 三维人脸识别数据集 69
3.3.4 人脸识别其他数据集 70
3.4 人脸属性分析数据集 70
3.4.1 通用人脸属性分析数据集 70
3.4.2 人脸表情数据集 71
3.4.3 人脸年龄与性别数据集 73
3.4.4 人脸分割数据集 74
3.4.5 人脸颜值数据集 76
3.4.6 人脸妆造数据集 76
3.5 人脸姿态与3D数据集 77
3.5.1 人脸姿态数据集 77
3.5.2 人脸三维重建数据集 78
3.6 人脸活体与伪造数据集 79
3.6.1 人脸活体数据集 79
3.6.2 人脸伪造数据集 81
3.7 人脸风格化数据集 81
第4章 人脸检测 83
4.1 目标检测基础 83
4.1.1 目标检测基本流程 83
4.1.2 选择检测窗口 84
4.1.3 提取图像特征 84
4.1.4 设计分类器 85
4.2 经典人脸检测算法 86
4.2.1 人脸检测问题 87
4.2.2 人脸肤色模型 87
4.2.3 人脸形状模型与模板匹配 88
4.2.4 特征分类算法 88
4.2.5 DPM方法 91
4.3 深度学习通用目标检测方法 93
4.3.1 OverFeat方法 94
4.3.2 Selective search与R-CNN方法 94
4.3.3 SPPNet与Fast R-CNN方法 96
4.3.4 Faster R-CNN与R-FCN方法 99
4.3.5 YOLO方法 101
4.3.6 SSD方法 104
4.3.7 基于角点的检测方法 105
4.3.8 目标检测中的几个关键技术和难点 106
4.4 深度学习人脸检测核心技术 109
4.4.1 人脸组件算法 109
4.4.2 级联检测算法 110
4.4.3 多尺度人脸检测算法 114
4.4.4 遮挡人脸检测算法 118
4.4.5 活体与伪造人脸检测算法 119
4.5 实战Faster R-CNN人脸检测 120
4.5.1 项目背景 120
4.5.2 py-faster-rcnn框架解读 120
4.5.3 模型定义与分析 134
4.5.4 模型训练 143
4.5.5 模型测试 144
参考文献 146
第5章 人脸关键点检测 149
5.1 关键点检测基础 149
5.1.1 关键点的定义 149
5.1.2 关键点的点数发展 150
5.1.3 关键点检测算法评价 153
5.1.4 人脸姿态 154
5.2 传统人脸关键点检测方法 154
5.2.1 ASM、AAM与CLM算法 155
5.2.2 级联形状回归算法 157
5.3 深度学习方法 158
5.3.1 级联框架 158
5.3.2 多任务联合框架 160
5.3.3 遮挡与大姿态问题 162
5.4 实时人脸关键点检测实践 163
5.4.1 数据集和基准模型 163
5.4.2 模型训练 164
5.4.3 模型测试 169
5.5 小结 171
参考文献 171
第6章 人脸识别 173
6.1 人脸识别基础 173
6.1.1 人脸识别基本流程 173
6.1.2 人脸识别评估 173
6.1.3 传统人脸识别特征 174
6.2 深度学习人脸识别核心技术 177
6.2.1 度量学习 177
6.2.2 多类别分类学习 180
6.2.3 人脸分类优化目标的发展 182
6.3 人脸识别算法面临的挑战和未来 186
6.3.1 遮挡人脸识别 186
6.3.2 跨姿态人脸识别 187
6.3.3 跨年龄人脸识别 188
6.3.4 妆造不变人脸识别 189
6.3.5 异质源人脸识别 190
6.3.6 其他问题 190
6.3.7 小结 191
6.4 实战人脸识别模型训练 192
6.4.1 数据准备与接口封装 192
6.4.2 模型训练 198
6.4.3 模型测试 204
6.4.4 小结 208
参考文献 208
第7章 人脸属性识别 211
7.1 人脸性别识别 211
7.1.1 人脸性别识别方法 211
7.1.2 人脸性别识别发展与挑战 212
7.2 人脸颜值与脸型识别 212
7.2.1 平均脸和脸型分类 212
7.2.2 人脸颜值与脸型特征 213
7.2.3 应用和挑战 214
7.3 人脸年龄识别 214
7.3.1 人脸年龄估计模型 215
7.3.2 传统年龄估计方法 216
7.3.3 深度学习年龄估计方法 216
7.3.4 小结 218
7.4 人脸表情识别 218
7.4.1 概述 218
7.4.2 传统表情识别算法 219
7.4.3 深度学习方法 221
7.4.4 挑战与展望 222
7.5 人脸属性识别项目实践 223
7.5.1 表情识别 223
7.5.2 年龄识别 229
7.5.3 总结 233
参考文献 234
第8章 人脸属性分割 236
8.1 图像分割的基础与人脸属性分割的应用 236
8.1.1 图像分割的含义 236
8.1.2 经典的图像分割方法 236
8.1.3 人脸属性分割的应用 238
8.2 深度学习图像分割核心技术 239
8.2.1 反卷积 239
8.2.2 图像分割经典模型 241
8.2.3 感受野控制、上下文信息与多尺度结构 243
8.2.4 图像分割后处理技术 246
8.2.5 图像分割中的难题 247
8.3 轻量级人脸分割项目实践 248
8.3.1 数据集与基准模型 249
8.3.2 模型训练与测试 250
8.3.3 小结 254
参考文献 255
第9章 人脸美颜与美妆 257
9.1 美颜基础和应用场景 257
9.1.1 五官重塑 257
9.1.2 磨皮、美白与肤质调整 258
9.1.3 上妆 258
9.2 基于滤波与变形的传统美颜算法 259
9.2.1 基于变形的五官重塑 259
9.2.2 基于滤波的磨皮算法 261
9.2.3 基于肤色模型的美白与肤质调整算法 263
9.2.4 小结 264
9.3 妆造迁移算法 264
9.3.1 传统妆造迁移算法 264
9.3.2 深度学习算法 266
9.4 妆造迁移算法实战 270
9.4.1 项目解读 270
9.4.2 模型训练 282
9.4.3 模型测试 284
参考文献 286
第10章 人脸三维重建 287
10.1 三维重建基础 287
10.1.1 常见三维重建技术 287
10.1.2 人脸三维重建的特点和难点 288
10.1.3 人脸三维重建基础技术 289
10.2 传统三维人脸重建技术 290
10.2.1 多目立体视觉匹配 290
10.2.2 3DMM 294
10.2.3 Shape from Shading 297
10.2.4 Structure from Motion 298
10.3 深度学习三维人脸重建 298
10.3.1 基于3DMM的方法 298
10.3.2 基于端到端的通用模型 300
10.3.3 三维人脸重建的难点 301
10.4 深度学习三维人脸重建实践 302
10.4.1 BFM模型的使用 302
10.4.2 基于BFM模型的常见三维特征 315
10.4.3 PRNet三维重建 318
10.4.4 小结 324
参考文献 325
第11章 人脸属性编辑 327
11.1 人脸属性编辑基础 327
11.1.1 人脸属性编辑应用 327
11.1.2 基于模型的人脸编辑 329
11.2 深度学习人脸属性编辑方法 329
11.2.1 GAN基础 330
11.2.2 图像风格化 334
11.2.3 表情编辑算法 336
11.2.4 年龄编辑算法 338
11.2.5 姿态编辑算法 339
11.2.6 人脸风格化算法 341
11.2.7 换脸算法 344
11.2.8 统一的人脸属性编辑框架 345
11.2.9 小结 347
11.3 实战人脸动画头像风格化 347
11.3.1 项目解读 348
11.3.2 模型训练 358
11.3.3 模型测试 358
参考文献 361