本书提供了针对对抗性机器学习的弱点，研究并开发相关操作技术这一领域的概述。回顾了机器学习的概念和方法后提出了对机器学习攻击的一般分类及处理两大类攻击、相关的防御和尝试学习的攻击技术。
无
近年来，对抗机器学习研究领域受到了广泛的关注，其中很多关注都集中在一种称为对抗样本的现象上。它的常见形式是，对抗样本获取一幅图像，并添加人类观察者通常看不见的少量失真，从而改变图像的预测标签（举一个最著名的例子，将熊猫预测为长臂猿）。但是，本书不是专门针对对抗样本的探索。相反，我们的目标是更宽泛地解释对抗机器学习领域，顾及监督学习和无监督学习，以及对训练数据的攻击（投毒攻击）和决策（预测）时攻击，其中对抗样本只是一种特殊情况。我们试图传达这个快速发展领域的基本概念，以及技术和概念上的研究进展。特别是，除了介绍性材料外，本书的流程是首先描述用于攻击机器学习的算法技术，然后描述使机器学习对此类攻击具有鲁棒性的算法进展。在第8章，我们概述了针对深度学习方法的一些最新进展。虽然在更宽广的对抗学习领域看到这类方法很重要，但是在深度神经网络背景下，这一章描述的动机、技术和经验观察最为突出（尽管许多技术方法在原理上是相当通用的）。
本书假设读者对相关知识有足够的了解。虽然书中介绍了机器学习的概念、术语和符号，但可能需要读者事先对机器学习有一定程度的熟悉，这样才能完全掌握技术内容。另外，我们希望读者对统计学和线性代数具有某种程度的熟悉，并对优化有一些先验知识（特别是，本书关于凸优化的叙述和对梯度下降等技术的讨论都假设读者熟悉这些概念）。
Yevgeniy Vorobeychik
Murat Kantarcioglu
2018年6月
大规模高质量数据集的日益丰富，以及过去几十年的重大技术进步，使机器学习成为广泛任务（包括视觉、语言、金融和安全）中使用的主要工具。然而，成功伴随着重要的新挑战：机器学习的许多应用在本质上是对抗的。有些应用是对抗的，因为它们是安全关键的，例如自动驾驶。这些应用中的对手可能是旨在造成拥塞或事故的恶意方，或者甚至可能模拟异常情况来暴露预测引擎中的漏洞。其他应用是对抗的，因为它们的任务和使用的数据是对抗的。例如，安全领域的一类重要问题涉及检测，包括对恶意软件、垃圾邮件和入侵的检测。利用机器学习来检测恶意实体会激发对手通过改变他们的行为或他们开发的恶意对象的内容来规避检测。
对抗机器学习领域的出现是为了研究在对抗环境下机器学习方法的漏洞，并开发使学习对对抗操作具有鲁棒性的技术。本书提供了这个领域的技术概括。在回顾了机器学习的概念和方法，以及这些概念和方法在对抗环境下的常见用例之后，提出对机器学习攻击的总体分类。然后，讨论两种主要类型的攻击和相关防御：决策时攻击，其中对手改变学习模型在预测时看到的实例的属性，以导致错误；投毒或训练时攻击，其中真实训练数据集被恶意修改。之后，讨论针对深度学习的攻击的新技术，以及提高深度神经网络鲁棒性的方法。最后，讨论对抗学习领域的几个重要问题。
本书旨在讨论机器学习中的安全性问题，即讨论各种干扰机器学习系统输出正确结果的攻击方法以及对应的防御方法。众所周知，机器学习自出现之初就因其优异的性能，应用于各种分类和回归任务。随着深度学习的提出，这一领域更是得到前所未有的蓬勃发展。目前,深度学习在计算机视觉、语音识别、自然语言处理等复杂任务中取得了已知最好的结果，已经被广泛应用于自动驾驶、人脸识别等领域。在一系列重大进展面前,人们很容易忽视阳光背后的阴影——对抗攻击。与很多实用性技术一样，机器学习同样面临着安全性的考验。从早期的垃圾邮件过滤程序开始，已经体现出对抗的思想，其本质是双方的对抗博弈：一方面，垃圾邮件制造者想方设法躲避过滤程序的筛选；另一方面，过滤程序又尽可能正确地筛选出垃圾邮件。
2014年，Christian Szegedy等人首次提出针对图像的对抗样本这一概念。他们将计算得到的扰动噪声加入原始图像，使得能够正确分类原始图像的分类器对加入扰动的图像产生错误分类。而这个扰动的幅度很小，人眼观察是不会错分的。这一发现揭露了深度学习技术在安全方面的极大缺陷，从而使得人们更加谨慎地看待深度学习在实际中的应用。随后的研究进一步发现，不仅是像素级别的扰动，真实世界中的扰动即便通过摄像机采集，也具有攻击性。例如，对停车标志附加一些贴纸或涂鸦，它便被交通标志识别系统错误识别为限速标志；真人戴上一副特制的眼镜，就被人脸识别系统错误识别为另一个人。如果这些对抗攻击方法被用来干扰自动驾驶、人脸识别等应用系统，后果将不堪设想。
于是，深度学习中的对抗攻击引起了研究人员的极大关注，他们也相应提出了一系列的攻击和防御方法。然而，随着各种攻击方法的产生，提出的防御方法看似抵御了这些攻击，但是新出现的攻击却又轻而易举地躲避了这些防御方法。研究在不断发展，但仍距真相甚远。这是因为一旦涉及深度学习，问题就变得极端复杂。至今，人们仍不完全清楚神经网络这个黑盒里面到底学到了什么特性。甚至有研究指出，神经网络完成的分类任务仅是靠辨别局部的颜色和纹理信息，这使得自然的对抗样本，即便不是人为加入的扰动，而是真实采集到的图像，也能够成功地欺骗神经网络。这也支持了许多学者的观点，即神经网络只是学习了数据，而非知识，机器学习还无法像人一样学习。这项难题的最终解决，或许依赖于对神经网络的透彻理解，以及对神经网络结构的改进。弄清楚神经网络内部的学习机制，并据此进行改进，或许才能真正解决目前神经网络对于对抗攻击的脆弱性。
以对抗样本生成和防御为核心的对抗深度学习，无疑是对抗机器学习领域目前最受关注的研究热点。但是，本书涉及更宽广的主题，从攻击时机、攻击者可以利用的信息、攻击目标三个维度，全面论述了监督学习、无监督学习以及强化学习系统中的攻击和防御技术。这对于读者全面系统地掌握对抗机器学习的理论、方法及应用，以及深入开展深度学习的攻击和防御问题研究，都是至关重要的。
本书的翻译工作是由王坤峰和王雨桐合作完成的。王坤峰负责第1～5章的翻译初稿，王雨桐负责第6～9章的翻译初稿。最后，王坤峰对全书进行了校正统稿。
我们非常荣幸受到机械工业出版社的邀请翻译本书。在翻译过程中，我们努力将内容讲解清楚，但是限于我们的英文能力和专业水平，译文中难免出现疏漏和错误，欢迎读者批评指正。翻译本书的目的，不仅是希望研究人员更多地关注对抗攻击和防御的思想，更希望大家把目光跳出机器学习本身，全面了解它的脆弱性，推动机器学习技术更好地发展和应用。
王坤峰 王雨桐
2019年9月30日
译者序
前言
致谢
作者简介
译者简介
第1章 引言1
第2章 机器学习预备知识5
2.1 监督学习5
2.1.1 回归学习6
2.1.2 分类学习7
2.1.3 PAC可学习性9
2.1.4 对抗环境下的监督学习9
2.2 无监督学习10
2.2.1 聚类11
2.2.2 主成分分析11
2.2.3 矩阵填充12
2.2.4 对抗环境下的无监督学习13
2.3 强化学习15
2.3.1 对抗环境下的强化学习17
2.4 参考文献注释17
第3章 对机器学习的攻击类型19
3.1 攻击时机20
3.2 攻击者可以利用的信息22
3.3 攻击目标23
3.4 参考文献注释24
第4章 决策时攻击26
4.1 对机器学习模型的规避攻击示例26
4.1.1 对异常检测的攻击：多态混合27
4.1.2 对PDF恶意软件分类器的攻击28
4.2 决策时攻击的建模30
4.3 白盒决策时攻击31
4.3.1 对二元分类器的攻击：对抗性分类器规避31
4.3.2 对多类分类器的决策时攻击38
4.3.3 对异常检测器的决策时攻击40
4.3.4 对聚类模型的决策时攻击40
4.3.5 对回归模型的决策时攻击41
4.3.6 对强化学习的决策时攻击44
4.4 黑盒决策时攻击45
4.4.1 对黑盒攻击的分类法46
4.4.2 建模攻击者信息获取48
4.4.3 使用近似模型的攻击50
4.5 参考文献注释51
第5章 决策时攻击的防御53
5.1 使监督学习对决策时攻击更坚固53
5.2 最优规避鲁棒性分类56
5.2.1 最优规避鲁棒的稀疏SVM56
5.2.2 应对自由范围攻击的规避鲁棒SVM60
5.2.3 应对受限攻击的规避鲁棒SVM62
5.2.4 无限制特征空间上的规避鲁棒分类63
5.2.5 对抗缺失特征的鲁棒性64
5.3 使分类器对决策时攻击近似坚固66
5.3.1 松弛方法66
5.3.2 通用防御：迭代再训练68
5.4 通过特征级保护的规避鲁棒性69
5.5 决策随机化70
5.5.1 模型70
5.5.2 最优随机化的分类操作72
5.6 规避鲁棒的回归74
5.7 参考文献注释75
第6章 数据投毒攻击77
6.1 建模投毒攻击78
6.2 对二元分类的投毒攻击79
6.2.1 标签翻转攻击79
6.2.2 对核SVM的中毒数据插入攻击81
6.3 对无监督学习的投毒攻击84
6.3.1 对聚类的投毒攻击84
6.3.2 对异常检测的投毒攻击86
6.4 对矩阵填充的投毒攻击87
6.4.1 攻击模型87
6.4.2 交替最小化的攻击89
6.4.3 核范数最小化的攻击91
6.4.4 模仿普通用户行为92
6.5 投毒攻击的通用框架94
6.6 黑盒投毒攻击96
6.7 参考文献注释98
第7章 数据投毒的防御100
7.1 通过数据二次采样的鲁棒学习100
7.2 通过离群点去除的鲁棒学习101
7.3 通过修剪优化的鲁棒学习104
7.4 鲁棒的矩阵分解107
7.4.1 无噪子空间恢复107
7.4.2 处理噪声108
7.4.3 高效的鲁棒子空间恢复109
7.5 修剪优化问题的高效算法110
7.6 参考文献注释111
第8章 深度学习的攻击和防御113
8.1 神经网络模型114
8.2 对深度神经网络的攻击：对抗样本115
8.2.1 l2范数攻击116
8.2.2 l∞范数攻击119
8.2.3 l0范数攻击121
8.2.4 物理世界中的攻击122
8.2.5 黑盒攻击123
8.3 使深度学习对对抗样本鲁棒123
8.3.1 鲁棒优化124
8.3.2 再训练127
8.3.3 蒸馏127
8.4 参考文献注释128
第9章 未来之路131
9.1 超出鲁棒优化的范围131
9.2 不完全信息132
9.3 预测的置信度133
9.4 随机化133
9.5 多个学习器134
9.6 模型和验证134
参考文献136
索引146
