本书由机器学习安全领域的学者撰写，针对存在安全威胁的对抗性环境，讨论如何构建健壮的机器学习系统，全面涵盖所涉及的理论和工具。全书分为四部分，分别讨论对抗机器学习的基本概念、诱发型攻击、探索性攻击和未来发展方向。书中介绍了当前最实用的工具，你将学会利用它们来监测系统安全状态并进行数据分析，从而设计出有效的对策来应对新的网络攻击；详细讨论了隐私保护机制和分类器的近似最优规避，在关于垃圾邮件和网络安全的案例研究中，深入分析了传统机器学习算法为何会被成功击破；全面概述了该领域的最新技术以及未来可能的发展方向。本书适合机器学习、计算机安全、网络安全领域的研究人员、技术人员和学生阅读。

无

计算机/机器学习

很多数据科学领域的工程师往往不知道，他们的自适应机器学习系统是多么容易遭到敌方或竞争对手的操纵和滥用。本书的核心是安全问题：不仅对各类攻击进行了详尽分析，而且包含大量对抗学习的案例；不仅复盘了现有的攻击方式，同时揭示了深度学习系统最近才呈现出的那些令人意想不到的漏洞。
——Richard Lippmann，麻省理工学院，林肯实验室
在安全问题日益受到关注的今天，本书的出版恰逢其时。机器学习已经无处不在，但要人们真正信任机器学习，就必须证明它有多可靠。
——Fabio Roli，意大利卡利亚里大学

[美] 安东尼·D. 约瑟夫（Anthony D. Joseph） 布莱恩·尼尔森（Blaine Nelson） 本杰明·I. P. 鲁宾斯坦（Benjamin I. P. Rubinstein） J. D. 泰格（J. D. Tygar） 著：---作者简介---
安东尼·D. 约瑟夫（Anthony D. Joseph） 加州大学伯克利分校电气工程与计算机科学系教授，曾任伯克利Intel实验室主管。
布莱恩·尼尔森（Blaine Nelson） 谷歌公司CAT（Counter-Abuse Technology）团队软件工程师，曾任教于波茨坦大学和图宾根大学。
本杰明·I. P. 鲁宾斯坦（Benjamin I. P. Rubinstein） 墨尔本大学计算与信息系统系副教授，曾任职于微软研究院、谷歌研究院和IBM研究院等。
J. D. 泰格（J. D. Tygar） 加州大学伯克利分校教授，在计算机安全领域开展了广泛的研究工作。

---译者简介---
纪守领 浙江大学“百人计划”研究员、教授、博士生导师，现任信息安全系主任、网络空间安全研究中心主任助理。

随着机器学习的迅速发展与广泛应用，许多机器学习算法和数据面临的威胁逐渐浮出水面。例如，攻击者可能会利用分类器的漏洞，引发错误分类或者提取敏感信息。为了应对上述挑战，近年来学术界和工业界致力于研究对抗机器学习，在对抗性环境下发现机器学习算法中存在的漏洞，设计更加安全的新算法。
2017年，剑桥大学出版社出版了由Anthony DJoseph、Blaine Nelson、Benjamin IPRubinstein和JDTygar四位学者撰写的Adversarial Machine Learning一书。四位学者一直耕耘在对抗机器学习领域的前沿，是诸多机器学习算法漏洞的主要发现者和安全性机器学习新算法的贡献者。
本书系统地介绍了对抗机器学习的概念、原理、技术与发展方向，主要包括四个部分。第一部分介绍对抗机器学习的基本概念，包括机器学习算法安全性评估框架和漏洞分类方法等。第二部分探讨机器学习的诱发型攻击，即攻击者通过影响训练数据来欺骗学习模型。第三部分介绍机器学习的探索性攻击，即在不污染数据的情况下，试探学习模型中存在的漏洞。第四部分探讨对抗机器学习未来的发展方向。
这是一本通过安全应用介绍对抗机器学习的书籍，它着眼于病毒、垃圾邮件和网络异常检测等实际应用领域，系统介绍了对抗场景、攻击方法和防御方法。书中体现了作者对安全应用中对抗机器学习的理解和思考，处处蕴含着深刻的思想，耐人寻味，引人深思。其中，第1章关于安全领域对抗机器学习场景、历史发展等的论述尤为透彻、精辟。
作者指出，对抗机器学习起源于人工智能和计算机安全领域过去20年的研究积累，许多安全问题开始需要自适应的学习模型，并且学习模型在恶意数据下的漏洞变得明显，这形成了安全领域对抗机器学习的基础。作者还详细介绍了自1940年以来促进安全领域对抗机器学习发展的重大事件年表。
作者分析了学习模型存在诸多威胁的原因，认为：“威胁实际上来自对手适应学习过程的能力。一个信息量充足的对手可以根据对学习模型缺点的了解而改变其攻击方法，或者通过巧妙地构造数据、破坏或欺骗学习过程来误导它（例如垃圾邮件发送者通常会修改消息以规避垃圾邮件检测器）。通过这种方式，恶意用户能够扰乱学习过程，从而破坏系统服务，甚至威胁到整个系统。”
作者指出：“计算机安全的第一个准则是在部署或广泛使用系统之前主动进行研究以预防潜在的攻击。关于系统安全性的分析和公开辩论能够为它提供一定的置信度。”为了发现机器学习算法的潜在威胁，作者设计了一个安全性评估框架，用于识别和分析学习模型面临的威胁，并用这个框架系统地探索几个学习模型的漏洞。
谈到防御方法，作者认为：“防御的发展将不可避免地造成军备竞赛，因此成功的防御必须预见潜在的反击，并证明它们能够抵御合理的威胁。”为了设计更好的防御策略，作者提出了攻击者和防御者之间的安全博弈策略，这些策略是针对攻击者所实施的特定类型的威胁而设计的。
我们非常荣幸于2018年7月接到机械工业出版社曲熠女士的邀请来翻译本书。我们认为翻译这本书是一件非常有意义的事情。译稿是由我和我的学生翁海琴、杜天宇、李进锋、吴含露、施程辉、李长江、邱鹏宇、唐嘉蔚、冯依楠、魏成坤、付冲、高向珊、段辅正共同完成的，我们通过研究本书的算法和阅读相关文献来加强对本书内容的理解，继而完成了译著的初稿，之后又经过自校对、交叉校对等环节努力使译著保持正确性和一致性。整个翻译过程也得到了浙江大学NESA Lab及计算机学院老师的大力支持，PSU的Ting Wang教授、UIUC的Bo Li教授、IBM TJWatson的Lingfei Wu博士、浙江工业大学的陈晋音副教授等专家学者也给予了大量帮助，在此一并表示感谢。
我们的中英文理解和表达能力都是有限的，特别担心不能确切传达出作者的真实意图。因此，我们强烈建议有条件的读者去阅读英文原著，也非常期待大家对译著批评指正，以便今后进一步修订完善。我们相信在大家的共同努力下，译著会变得更加贴近原著，并让更多的读者从中受益。

纪守领
2020年5月15日于浙大玉泉

译者序
致谢
符号表
第一部分对抗机器学习概述
第1章引言
11动机
12安全学习的原则性方法
13安全学习年表
14本书内容概述
第2章背景知识及符号说明
21基本表示
22统计机器学习
221数据
222假设空间
223学习模型
224监督学习
225其他学习模式
第3章安全学习框架
31学习阶段分析
32安全分析
321安全目标
322威胁模型
323安全中的机器学习应用探讨
33框架
331分类
332对抗学习博弈
333对抗能力特征
334攻击
335防御
34探索性攻击
341探索性博弈
342探索性完整性攻击
343探索性可用性攻击
344防御探索性攻击
35诱发型攻击
351诱发型博弈
352诱发型完整性攻击
353诱发型可用性攻击
354防御诱发型攻击
36重复学习博弈
37隐私保护学习
371差分隐私
372探索性和诱发型隐私攻击
373随机效用
第二部分关于机器学习的诱发型攻击
第4章攻击一个超球面学习者
41超球面检测器的诱发型攻击
411学习假设
412攻击者假设
413分析方法论
42超球面攻击描述
421取代质心
422攻击的正式描述
423攻击序列的特征
43最优无约束攻击
44对攻击施加时间限制
441可变质量的堆叠块
442替代配方
443最优松弛解
45使用数据替换进行重新训练的攻击
451平均输出和随机输出替换策略
452最近输出替换策略
46受限制的攻击者
461贪婪最佳攻击
462混合数据攻击
463扩展
47总结
第5章可用性攻击案例研究：SpamBayes
51SpamBayes垃圾邮件过滤器
511SpamBayes的训练算法
512SpamBayes的预测
513SpamBayes的模型
52SpamBayes的威胁模型
521攻击者目标
522攻击者知识
523训练模型
524污染假设
53对SpamBayes学习者的\诱发型攻击
531诱发型可用性攻击
532诱发型完整性攻击——伪垃圾邮件
54拒绝负面影响防御
55使用SpamBayes进行实验
551实验方法
552字典攻击结果
553集中攻击结果
554伪垃圾邮件攻击实验
555RONI结果
56总结
第6章完整性攻击案例研究：主成分分析检测器
61PCA方法用于流量异常检测
611流量矩阵和大规模异常
612用于异常检测的子空间方法
62腐蚀PCA子空间
621威胁模型
622无信息垃圾流量选择
623局部信息垃圾流量选择
624全局信息垃圾流量选择
625温水煮青蛙式攻击
63腐蚀抵御检测器
631直觉
632PCAGRID方法
633鲁棒的拉普拉斯阈值
64实证评估
641准备
642识别易受攻击流
643攻击评估
644ANTIDOTE评估
645温水煮青蛙式毒化攻击实证评估
65总结
第三部分关于机器学习的探索性攻击
第7章用于SVM学习的隐私保护机制
71隐私泄露案例研究
711马萨诸塞州员工健康记录
712AOL搜索查询日志
713Netflix奖
714Twitter昵称的去匿名化
715全基因组关联研究
716广告微目标
717经验教训
72问题定义：隐私保护学习
721差分隐私
722可用性
723差分隐私的历史研究方向
73支持向量机：简单介绍
731平移不变核
732算法的稳定性
74基于输出干扰的差分隐私
75基于目标函数干扰的差分隐私
76无限维特征空间
77最优差分隐私的界限
771上界
772下界
78总结
第8章分类器的近似最优规避
81近似最优规避的特征
811对抗成本
812近似最优规避
813搜索的术语
814乘法最优性与加法最优性
815凸诱导性分类器族
82l1成本凸类的规避
821对于凸X+f的IMAC搜索
822对于凸X-f的IMAC学习
83一般lp成本的规避
831凸正集
832凸负集
84总结
841近似最优规避中的开放问题
842规避标准的替代
843现实世界的规避
第四部分对抗机器学习的未来方向
第9章对抗机器学习的挑战
91讨论和开放性问题
911对抗博弈的未探索组件
912防御技术的发展
92回顾开放性问题
93结束语
附录A学习和超几何背景知识
附录B超球面攻击的完整证明
附录CSpamBayes分析
附录D近似最优规避的完整
证明
术语表
参考文献