本书介绍了一系列结合人工智能技术处理网络空间安全问题的方法,包括处理网络威胁情报、为恶意软件提供战略防御机制、解决网络犯罪、评估漏洞,以及产生主动而不是被动的对策的人工智能方法。
汇集诸多领域专家的贡献,介绍一系列结合人工智能技术处理网络空间安全问题的方法
结合知识驱动的智能安全本体论与数据驱动的深度学习安全观,构建新一代网络安全体系
安全漏洞和被感染的计算机系统会让政府和企业遭受严重损失。 攻击机制与防御机制在不断地并行发展,要检测欺诈性支付网关,保护云服务以及让文件安全传输,需要不断发展新技术。为了尽可能地防止未来发生的网络攻击或至少将其影响最小化,人工智能方法被用来抵御网络威胁和攻击。不断增加的全球网络威胁和网络攻击的数量促使人们迫切需要自动化防御机制来及时发现漏洞、威胁和恶意活动。知识表示和推理、自动化计划以及机器学习这些方法,有助于主动实现网络安全措施,而非被动实现。 为此,人工智能驱动的网络安全应用程序开始发展,相关信息可参阅基于AI的安全基础设施Chronicle系统(谷歌提供的云服务,可以用于企业保留、分析和搜索网络安全数据)和“企业免疫系统” Darktrace。
日益复杂的网络、操作系统和无线通信漏洞,以及恶意软件行为给安全专家带来了国家级别甚至国际级别的重大挑战。本书囊括了目前几乎所有AI技术驱动的安全技术和方法。第1章介绍了AI的本体工程及其在网络安全、网络威胁情报和网络态势感知等方面的应用。 本体中网络基础架构的概念、属性、关系和实体的正式定义使编写机器可解释的语句成为可能。这些语句可用于对专家知识进行有效的索引、查询和推理。第2章详细介绍了如何利用知识工程来描述网络拓扑和流量,以便软件代理可以自动处理它们并执行网络知识发现。网络分析人员往往使用多种来源的信息,除非使用统一的语法,否则软件代理无法有效地处理这些信息并将这些信息解释为易于理解的含义(例如模型理论语义和Tarski式解释)。网络知识的形式化表示不仅需要确定性的原理,有时还需要模糊的、概率性的原理以及元数据等作为来源。通过对语义丰富的网络知识进行推理,自动化机制可以生成即使是有经验的分析师也会忽略的关于相关性的非常规描述,并自动识别可能导致漏洞的错误配置。
第3章告诉我们,人工智能不仅可以提供帮助,还可能对网络安全构成威胁,因为黑客也会使用AI方法,比如攻击机器学习系统以利用软件漏洞并破坏程序代码。举个例子,他们可能在机器学习算法中引入误导性数据(数据投毒),篡改算法的行为,导致电子邮件将数千封垃圾邮件标记为“非垃圾邮件”,从而使恶意电子邮件被视为正常邮件。
社交媒体网站中提到的软件漏洞可以被软件供应商用来打补丁,也可以被对手在打补丁之前加以利用。第4章展示了软件漏洞发布和利用之间的相关性,并提出了一种基于在线资源预测漏洞被利用的可能性的方法,供应商可以使用这些资源(包括Dark Web和Deep Web)来优先安排补丁程序。
第5章介绍了适用于检测网络攻击的AI方法。 它提供了二元分类器和优化技术,可以提高分类准确度、训练速度以及用于网络攻击检测的分布式AI驱动的计算效率。该章还描述了基于神经网络、模糊网络和进化计算的模型,以及二元分类器的组合策略,从而能够对不同子样本进行多种方式的训练。
第6章讨论了利用机器学习和数据挖掘来识别恶意连接的入侵检测技术,比较了使用模糊逻辑和人工神经网络的常见入侵检测系统,并在此基础上总结了使用人工神经网络处理网络攻击的主要挑战和机遇。
安全性的强弱取决于系统中最薄弱的环节。不论企业采取了什么样的安全措施,一个粗心的或经验不足的用户足以破坏文件传输的安全性或违反企业安全策略进行登录。 例如,安装软件不仅可能导致系统感染恶意软件,还可能导致数据丢失、隐私泄露等。如第7章所述,人工智能可以用于分析软件安装程序的安全性,这一章中论述了基于机器学习的Android移动设备上用于分发和安装移动程序以及中间件的包文件格式的分析方法。利用机器学习算法对APK文件结构进行分析,可以识别潜在的恶意软件目标。
网络分析师、防御专家、学生和网络安全研究人员都可以从本书中汇编的一系列AI方法中受益,这本书不仅回顾了目前的技术水平,还提出了这一快速发展的研究领域的新方向。
Leslie F. Sikos博士
于澳大利亚阿德莱德
计算机\安全
人工智能(AI)在网络安全、网络威胁情报和高级持续性威胁(APT)的监测分析与遏制缓解、打击恶意网络行为(例如有组织的网络犯罪以及国家支持的网络威胁)等方面扮演了重要角色。……作者对网络安全中的AI进行了全面的论述,这对于从事人工智能及网络安全领域研究的人员非常有用。
—— Kim-Kwang Raymond Choo博士
本书汇集了诸多领域专家的贡献,旨在提出新的研究方向,以促进网络空间安全领域的进一步发展。本书介绍了一系列结合人工智能技术处理网络空间安全问题的方法,包括处理网络威胁情报、为恶意软件提供战略防御机制、解决网络犯罪、评估漏洞,以及产生主动而不是被动对策的人工智能方法。
主要特点
介绍网络安全、网络威胁情报和网络态势感知方面的前沿人工智能研究
提供恶意软件、网络犯罪以及评估漏洞以产生主动而不是被动对策方面的战略防御机制
讲述如何处理与安全相关的网络数据,如何利用社交媒体和开放数据进行情报收集和数据分析,如何完成用于漏洞评估的监控
1969年开始举办的国际人工智能联合会议(IJCAI)和1980年开始举办的AAAI人工智能会议证明了人工智能(AI)是一个相对成熟的研究主题。多年来,AI技术取得了令人瞩目的发展,并且融入了我们生活的方方面面。例如,《卫报》曾报道过AlphaZero AI在自学4个小时后击败了国际象棋冠军程序。因此,当AI能够对世界上的任何事物产生影响,甚至进行控制时,它将不再只是科幻小说中的元素。
尽管可能会引起争议,但AI应用不仅存在于商业世界中,而且存在于战场和军事环境中。也正是基于这个原因,Google决定不再与美国政府续签关于联合开发人工智能军事应用的技术合同,例如开发人工智能在军事物联网中的应用。
AI还在网络空间安全、网络威胁情报和高级持续性威胁(APT)的监测分析、遏制缓解,以及打击恶意网络行为(例如,有组织的网络犯罪以及国家支持的网络威胁)等方面扮演了重要角色。 例如,不同于传统的签名方法,基于特征和行为的AI技术可用于自动扫描、识别未知的恶意软件和零日漏洞利用。
本书的重点在这里。例如,在第2章,作者阐述了网络语义的形式化知识表示在解决异构网络数据多源化挑战中所展示出的潜力。这包括从不同的安全监控解决方案收集和产生的大量数据。网络语义的形式化知识表示可以利用智能方式和下一代AI技术从结构化(大)数据中挖掘、解释和提取知识,为决策和制定网络防御策略提供信息。如本书中所述,其他人工智能网络安全应用包括系统与设备中的漏洞和脆弱点检测,以及可疑行为和异常监测。
AI技术同样可以用于恶意目的。例如,对手可以使用AI技术来识别和利用系统与设备中的漏洞,并利用这些漏洞开展攻击。例如,利用无人驾驶车辆和无人驾驶飞行器(UAV,又称无人机)在高聚集区域开展协同攻击(例如高峰时段的城市地区)。 此外,通过协同攻击,AI技术可以利用智慧城市基础设施(例如,智能交通系统)中的漏洞来最大化此类攻击的影响,以造成社会恐慌和动荡。 因此,防御基于人工智能的网络攻击十分必要。
换句话说,需要在很多方向上做更多的工作来回答下面这些开放式问题:
1)如何使用AI技术促进司法调查?
2)如何设计AI技术来帮助预测未来的网络攻击或潜在漏洞(已存在的风险)?
3)AI技术能否帮助设计新的安全解决方案以克服人为设计的缺陷(例如,缓解密码协议中的“破解和修复”趋势)或者设计新的区块链类型?
简而言之,作者对AI技术在网络安全中的应用进行了全面阐述,对于从事AI领域网络安全研究的相关人员非常有用。
毫无疑问,这是一个激动人心的时代,在可预见的未来,AI与网络安全之间的联系将变得越来越重要。
KimKwang Raymond Choo博士
于美国得克萨斯州圣安东尼奥市
新一代人工智能已成为引领未来的战略性先导技术,是公认的最有可能改变世界的颠覆性技术。历史经验证明,新旧技术更替的趋势不可阻挡。将人工智能的潜能充分释放,对现有网络空间安全防御机制进行深刻变革,是大势所趋。当前,网络空间发展迈向万物互联、智能泛在的新阶段,同时,网络空间攻防呈现出多维拒止、自主对抗的新局面,勒索软件、新型病毒依然呈现爆发态势,或许人工智能将为网络安全带来革新技术。人工智能的发展和成熟为网络空间安全提供了全新思路,未来基于人工智能的网络空间安全能够有效应对不断深化的攻击风险,同时安全防护能力将随时间的推移不断学习从而不断增强。智能将成为安全的内在属性,人工智能与安全的融合从叠加、外挂演变成为内生,与此同时,人工智能的自身安全也是关键所在。
正所谓“智能的安全,安全的智能”,这已然成为学者们争相追逐的热点。莱斯利·F西科斯博士的这本书非常全面地阐述了人工智能在网络空间安全领域的运作机理、算法、应用和评价等,既有知识驱动的智能安全本体论,也有数据驱动的深度学习安全观。当然,我也相信基于人工智能的网络空间安全未来一定是双驱动的内生智能安全。
在此,我要感谢我的师弟雷程,他及时向我推荐了这本著作,但由于日常工作繁忙,翻译耗时较长,有的内容可能不是最新的了,但这并不影响理解。感谢我的学生李娜、胡志辉、何昌钦、岳望洋,有你们的努力才有本书的面世。不过,由于团队自身水平有限,不足之处还请各位读者多多批评指正!
2021年6月于北京
译者序
序言
前言
第1章 网络空间安全中的网络本体语言:网络知识的概念建模1
11网络空间安全中的知识工程简介1
12网络空间安全分类标准4
13网络空间安全的核心参考本体模型6
14网络空间安全的上层本体6
15网络空间安全的领域本体8
151入侵检测本体模型8
152恶意软件分类和恶意软件行为本体模型8
153网络威胁情报本体模型9
154数字取证本体模型10
155安全操作和流程本体模型11
156描述网络攻击及其影响的本体模型11
16网络空间安全的相关网络系统
本体集1217总结14
参考文献15
第2章 推理型网络态势感知的网络语义知识表示18
21引言18
22预备知识19
23通信网络的概念23
231网络和拓扑结构24
232网络接口和IP地址24
233路由器25
234自治系统和路由系统26
24网络态势感知的形式化知识表示28
25表示网络数据来源33
26表示网络数据的不确定性35
27表示网络数据的模糊性38
28对网络态势感知的推理支持40
29总结41
参考文献41
第3章 机器学习系统的安全性45
31机器学习算法的脆弱性45
32威胁模型46
321攻击者能力产生的威胁47
322攻击者目标产生的威胁48
323攻击者知识产生的威胁49
324攻击策略产生的威胁50
33数据中毒52
331投毒攻击场景53
332最佳投毒攻击56
333投毒攻击的可传递性61
334对投毒攻击的防御63
34在测试中的攻击64
341规避攻击场景66
342规避攻击的计算69
343规避攻击的可传递性70
344对规避攻击的防御72
35总结73
参考文献74
第4章 攻击前修补漏洞:一种识别目标软件脆弱性的方法77
41引言78
42相关工作81
43预备知识82
431有监督的学习方法82
432漏洞利用预测面临的挑战83
44漏洞利用预测模型85
441数据源86
442特征描述88
45漏洞及利用分析90
451漏洞利用可能性91
452基于时间的分析91
453基于供应商/平台的分析93
454基于语言的分析94
46实验设置95
461性能评估96
462结果97
47对抗数据处理103
48讨论105
49总结107
参考文献107
第5章 人工智能方法在网络攻击检测中的应用111
51引言111
52相关工作112
53二元分类器114
531神经网络114
532模糊神经网络118
533支持向量机123
54训练二元分类器以检测网络攻击126
541计算和预处理网络参数127
542二元分类器权重的遗传优化129
543网络攻击检测算法131
55组合多种二元分类器方案132
551组合检测器的低层级方案132
552聚合成分134
553组合检测器的常用方法136
56实验137
561数据集137
562实验1138
563实验2139
57总结140
参考文献141
第6章 用于网络入侵检测的机器学习算法144
61引言144
62网络入侵检测系统146
621部署方法146
622检测方法148
63网络入侵检测中的机器学习149
631模糊推理系统150
632人工神经网络156
633基于机器学习的NIDS的部署160
64实验161
641评估环境161
642模型构建162
643结果对比164
65总结165
参考文献166
第7章 使用机器学习技术进行Android应用程序分析172
71引言172
72Android应用程序包的结构174
721中央配置(AndroidManifest.xml)174
722Dalvik字节码(classes.dex)175
73Android恶意软件识别技术176
731黑名单176
732参数化177
733分类177
74数据集准备178
741APK文件分析178
742应用程序元数据179
743标签分类180
744数据编码180
745一种安全和恶意APK文件的新型数据集181
75用SVM检测恶意软件182
751SVM概述182
752特征设置185
753调整超参数185
754评估指标186
755数值结果186
76与参数化方法比较188
761扩展DroidRisk188
762DroidRisk性能189
77特征选择190
771递归特征消除190
772排序标准191
773实验192
78问题和限制194
79总结195
参考文献195