本书是云计算领域的前沿教学尝试，关注大型数据集(特别是物联网应用程序)上的数据分析解决方案，学生将了解如何使用基于云计算的数据存储、传输、Mashup以及人工智能技术来分析数据。书中介绍了现代云计算系统的工作原理、结构设计、机器学习算法、编程模型，以及用于大数据挖掘、分析和认知应用程序的软件工具。本书适合作为计算机科学、电气工程专业的云计算、机器学习、云编程、科学认知计算和大数据课程教材，也是云计算和数据科学从业者的有益参考。
无
以“云大物移智”为标志的新技术革命开启了科技的新时代，我们看到了云计算、大数据、物联网、移动互联网与人工智能等新兴领域的蓬勃发展。这对计算机科学与信息工程专业人才的知识结构与创新能力提出了新的要求。在这样的智能时代，计算机与人工智能学科的教育及人才培养需要结合数理基础知识、算法与软件知识以及云平台核心知识与能力，特别是在领域应用与知识交叉方面需要新的教材，这也是出版本书的主要目的。
本书英文版在美国南加州大学完成，中文版的翻译由武汉大学计算机学院的五位老师承担：袁志勇，杜瑞颖，张立强，伍春香，蔡朝晖。全书的翻译与校对工作在袁志勇教授和杜瑞颖教授的协调下完成。我在此对他们专业的学术工作与敬业精神表示由衷的感谢。
全书共10章，强调云计算、大数据、物联网、认知计算、机器学习的基本原理与智能应用。本书可作为高等院校与研究院的基础教材，专业领域跨越计算机科学、人工智能、机器学习与大数据。本书之前的版本《云计算与分布式系统》曾作为美国南加州大学、清华大学与武汉大学的教材。我们为授课教师提供配套的课件与习题解答，请访问华章网站（www.hzbook.com）下载教辅资料。
计算机、互联网与人工智能的突飞猛进
自新旧千年交替以来，计算机和信息技术在规模、设备以及平台方面都发生了重大变化。全球数以千计的数据中心正在转化为云端，使数以亿计的个人、企业和政府用户受益。30亿部智能手机正在用于与社交网络云进行互动。所有这些都大大改变了人类的活动和交往。物联网（IoT）和机器智能正在重塑我们的生活方式。这些信息技术的进展正在把我们的社会转变为由许多人工智能（AI）和自动化认知解决方案所支撑的规模经济。事实上，我们正在进入一个拥有云数据分析、智能机器人、机器学习和认知服务的时代。
为实现新的计算和通信模式，我们必须用新功能提升云计算生态系统，这些新功能涵盖机器学习、物联网感知、数据分析以及能模拟或增强人类智能的认知能力。最终目标是建立大数据产业，提供认知服务，在更高的效率下处理劳动密集型任务，从而弥补人类在这方面的缺陷。我们必须设计成功的云系统、网络服务和数据中心，用于存储、处理、学习和分析大数据，以发现新知识或做出重要决策。这些目标可通过硬件虚拟化、机器学习、经训练的深度学习、神经形态计算机架构以及认知服务来实现。例如，新的云服务可以包括学习即服务（LaaS）、分析即服务（AaaS）或安全即服务（SaaS）等。
如今，IT公司、大型企业、大学和政府正逐渐将其数据中心转移到云设施中，以支持移动和网络应用。拥有类似于云的集群架构的超级计算机也正在转型，以处理大数据集或数据流。智能云对于支持社交、媒体、移动端、商业和政府运营的需求量极大。谷歌、亚马逊、微软、脸书、苹果、百度、阿里巴巴、腾讯和IBM等公司正在争相开发物联网设备、智能机器人、自动驾驶汽车、飞行汽车和认知系统。高科技产业正在进入一个挑战与机遇并存的新世界。
本书速览与导读
本书旨在帮助高年级本科生或研究生掌握现代云系统架构、机器学习算法、并行和分布式编程以及用于大数据挖掘、预测分析和认知服务应用的软件工具，并推动大数据和机器智能时代的职业发展和业务转型。它也可以作为专业人士、科学家或工程师的参考书。本书是我过去二十年的研究、教学和授课经验的结晶，读者可利用本书学习云和机器学习方面的技能。本书共四个部分，包含10 章，现简要介绍如下。
第一部分有两章，介绍大数据应用中的云计算、数据科学和自适应计算的基本原理。这两章为后续八章提供了必要的理论基础和技术基础。
第二部分有三章，涵盖云架构、虚拟机、Docker容器、移动云、物联网和多云混搭服务，案例研究包括AWS、谷歌云、微软Azure云、IBM智能云、Salesforce云、SGI Cyclone、苹果iCloud、NASA Nebula云及CERN云。
第三部分有两章，主要介绍机器学习、深度学习、人工智能机器、智能机器人、神经形态处理器、类脑计算机、增强现实（AR）和虚拟现实（VR）的原理， 涵盖谷歌脑计划、DeepMind、X-Lab计划、IBM SyNapse神经形态芯片、Bluemix云和认知计划以及中国的寒武纪神经芯片。
第四部分有三章，介绍关于MapReduce、Hadoop、Spark、TensorFlow和GraphX的云编程范例、软件工具以及应用开发，最后一章专门讨论云性能、隐私和安全问题。所有云系统、编程范例、机器学习方法和软件工具在书中都有具体的应用示例。
将人工智能赋予云端和物联网平台
本书将大数据理论与智能云中的新兴技术相结合，并利用新的应用探索分布式数据中心。如今，信息物理系统（CPS）出现在智慧城市、自动驾驶、情感检测机器人、送货无人机、虚拟现实、增强现实以及认知服务中。为促进智能云或数据中心的有效大数据计算，本书采用技术融合方式将大数据理论与云设计原理及超级计算标准相结合。物联网感知技术可实现大规模的数据采集和筛选。在云端或物联网平台上，机器学习和数据分析有助于智能决策，自动且无人为干预。
拥有AI特性的增强云和超级计算机是我们的根本目标。这些人工智能和机器学习任务在实际中的应用由Hadoop、Spark和TensorFlow程序库支持。数据分析师、认知科学家和计算机专业人士须共同努力解决实际问题。这种协作学习必须包含云端、移动设备、数据中心和物联网资源，最终目标是发现新知识或者做出重要决策。多年以来，我们一直在探索如何建造类脑计算机，它能在感知、记忆、识别和理解中模仿或增强人类功能。
当今，谷歌、IBM、微软、脸书、中国科学院以及百度都在探索云计算、机器学习和物联网应用中的人工智能。本书涵盖一些新的神经形态芯片和领先的研究中心构建的软件平台，它使认知计算成为可能。本书考察了在硬件、软件和生态系统方面的进步，不仅注重机器学习技术，包括模式识别、语音/图像理解以及低成本、低功耗需求的语言翻译和理解，而且强化了用手机、机器人、物联网平台、数据中心以及云计算构建未来网络空间的新方法。
读者对象和教师指南
本书是为满足日益增长的计算机科学和电气工程教育课程的需求而编写的。教师可选择与课程相适应的不同章节进行讲授，从而满足各层次学生的需求。本书适合在高年级本科生和研究生的教学中使用，同时，也能帮助那些希望增进技能以迎接新的IT技术挑战的计算机专业人士。
讲授云计算课程应至少覆盖8章。如果教学课时有限，可跳过第2章和第7章。对于机器学习课程，可跳过第3章或第10章。对于高年级本科生课程，讲授7章（1，2，3，4，5，6，8）足够。任何课程都要覆盖云计算和机器学习两个主题，此外，本书也适合作为大数据科学、物联网应用和分布式计算课程的参考书。
计算机、互联网等高科技行业的工程师、科学家及管理者也能从本书中找到有益的参考。例如：英特尔工程师可能会发现本书有助于推动物联网的概念；亚马逊、谷歌、微软、Apache、Databricks和Cloudera的软件工程师及大数据分析师可能会发现它在日常工作中有用；谷歌脑计划、X-Lab计划和DeepMind的开发人员可在深度学习服务中使用书中知识进行语音、文字、图像理解以及医疗保健和自动驾驶开发；在新兴认知行业中，IBM已确定将物联网和认知服务用于扩大其在社会和政府部门的业务；脸书、苹果和百度可能希望利用AR和VR技术探索新的AI特性、社交服务与个性化娱乐；最后，亚马逊和阿里巴巴云的买卖双方可能希望在电子商务和P2P社交服务之外拓展网络购物及交易业务。
黄铠
2018年5月于深圳
计算机/云计算
我们正在跨入云数据分析、智能机器人和认知服务的新时代，为实现新的计算和通信模式，必须升级云生态系统，赋予其感知、分析和认知能力，从而助力科学发现和商业转型。本书关注云计算、大数据、物联网、认知计算和机器学习的基本原理、智能应用和编程实战，既能满足计算机科学与电气工程教育领域不断增长的课程需求，也为IT从业者学习新技能和挑战新机遇提供了有益参考。
本书特色
技术融合方法。创新性地将云设计原理与大数据理论及超级计算机标准相结合，利用IoT感知技术实现大规模数据采集和筛选，利用机器学习与数据分析进行智能决策，最终实现更高效的计算和服务。
智能应用探索。深入探讨人工智能技术，涵盖神经形态芯片以及谷歌、IBM、中科院等团队的前沿成果，展现了认知计算在硬件、软件和生态系统方面的进步，不断开拓构建未来应用的新方法。
全面教辅支持。为鼓励读者学习新技术和开发新应用，书中包含大量实例，章后配有开放性习题。此外，用书教师可免费获取教学PPT和习题答案，请访问华章网站www.hzbook.com下载。
黄 铠（Kai Hwang） 现为香港中文大学（深圳）校长讲座教授，兼任中国科学院云计算中心首席科学家。之前为美国南加州大学电子工程与计算机科学系终身教授，还曾在普渡大学任教多年，并先后在清华大学和香港大学等担任特聘讲座教授。他是IEEE计算机协会的终身会士，于2012年荣获国际云计算大会终身成就奖，2004年荣获中国计算机学会首届海外杰出贡献奖。
[美]黄铠（Kai Hwang）著：黄铠，现为香港中文大学（深圳）校长讲座教授，兼任中国科学院云计算中心首席科学家。之前为美国南加州大学电子工程与计算机科学系终身教授，还曾在普渡大学任教多年，并先后在清华大学和香港大学等担任特聘讲座教授。他是IEEE计算机协会的终身会士，于2012年荣获国际云计算大会终身成就奖，2004年荣获中国计算机学会首届海外杰出贡献奖。
本书根据黄铠教授在美国南加州大学完成的英文原著《Cloud Computing for Machine Learning and Cognitive Applications》翻译而成，英文原版由美国麻省理工学院出版社（The MIT Press）于2017年6月出版发行。本书适合作为高等院校计算机、电子信息等相关专业的教材，也适合作为专业技术人员的参考书籍。
本书由武汉大学计算机学院五位教学科研一线的教师翻译。其中，蔡朝晖副教授负责翻译第1章，伍春香副教授负责翻译第2章、第5章，张立强副教授负责翻译第3章、第4章、第8章，袁志勇教授负责翻译第6章、第7章、第9章和前言，杜瑞颖教授负责翻译第10章。杜瑞颖教授和蔡朝晖副教授共同负责翻译索引。最后由袁志勇教授和杜瑞颖教授对全书进行统稿。
本书中文版能够在国内出版，机械工业出版社华章分社做了大量工作，译者在此表示衷心感谢！
由于时间及水平所限，书中译文不当之处，恳请学术界同仁及广大读者批评指正。
译者
2018年3月于武汉
出版者的话
译者序
前言
作者简介
第一部分 云平台、大数据与认知计算
第1章 云计算系统原理 2
1.1 可扩展计算的弹性云系统 2
1.1.1 云计算的驱动技术 2
1.1.2 可扩展的分布式/并行计算的演化 3
1.1.3 云系统中的虚拟资源 5
1.1.4 云计算与本地计算 7
1.2 云平台架构与分布式系统的比较 8
1.2.1 基本云平台的架构 8
1.2.2 公共云、私有云、社区云和混合云 10
1.2.3 物理集群与虚拟集群 12
1.2.4 云与传统并行/分布式系统的比较 14
1.3 云服务模型、生态系统与可扩展性分析 16
1.3.1 云服务模型：IaaS、PaaS和SaaS 16
1.3.2 云性能分析与可扩展性定理 18
1.3.3 云生态系统与用户环境 20
1.3.4 云计算的技术成熟度曲线 23
1.3.5 云计算与其他技术的关系 24
1.4 集群的可用性、移动性和优化 26
1.4.1 云服务器集群的可用性分析 26
1.4.2 虚拟集群操作中的容错 28
1.4.3 云中多服务器集群的排队模型 29
1.4.4 云计算的多服务器集群优化 30
1.5 结论 32
习题 33
参考文献 35
第2章 数据分析、物联网与认知计算 37
2.1 大数据科学与应用面临的挑战 37
2.1.1 数据科学与大数据特征 37
2.1.2 物联网的技术成熟度曲线 38
2.1.3 走向大数据工业 40
2.1.4 大数据应用概述 41
2.2 物联网与云平台的互动模式 44
2.2.1 IoT感知与平台架构 45
2.2.2 IoT价值链与发展路线 47
2.2.3 独立使用和与云平台结合的IoT应用 49
2.2.4 智慧城市与智慧社区的发展 52
2.3 在云平台上的数据收集、挖掘与分析 54
2.3.1 数据质量控制与表达 54
2.3.2 数据挖掘与分析 57
2.3.3 在云平台上提升数据分析能力 59
2.3.4 支撑大数据分析的云资源 61
2.4 神经形态硬件与认知计算 63
2.4.1 认知计算与神经形态处理器 63
2.4.2 IBM SyNAPSE与相关的神经类脑计算机项目 66
2.4.3 中国科学院的神经处理器Cambricon 68
2.4.4 Google TPU与相关的人工智能应用 68
2.5 结论 70
习题 71
参考文献 72
第二部分 云系统架构与服务平台设计
第3章 虚拟机、Docker容器和服务器集群 74
3.1 云计算系统中的虚拟化 74
3.1.1 虚拟化的基本概念 74
3.1.2 虚拟化的实现层级 75
3.1.3 集群或云系统中的资源虚拟化 78
3.2 用于创建虚拟机的虚拟机监控器 79
3.2.1 虚拟机架构类型 79
3.2.2 完全虚拟化和托管虚拟化 81
3.2.3 修改客户操作系统的半虚拟化 83
3.2.4 平台虚拟化软件产品与工具包比较 85
3.3 Docker引擎和应用程序容器 86
3.4 Docker容器和部署要求 89
3.4.1 使用Linux内核函数创建的Docker容器 89
3.4.2 虚拟机与Docker容器的比较 91
3.4.3 从虚拟机到容器和unikernel的架构演变 92
3.5 虚拟机管理和容器编排 94
3.5.1 虚拟机管理解决方案 94
3.5.2 用于灾难恢复的虚拟机迁移 95
3.5.3 Docker容器调度和编排 98
3.6 Eucalyptus、OpenStack和VMware云构建 100
3.6.1 私有云中的Eucalyptus虚拟集群 100
3.6.2 用于构建私有云或公共云的OpenStack软件 102
3.6.3 支持构建混合云的VMware虚拟化 103
3.7 结论 105
习题 105
参考文献 107
第4章 云架构与服务平台设计 109
4.1 云架构与基础设施设计 109
4.1.1 公共云平台及其服务项目 109
4.1.2 云服务的商业模型 111
4.1.3 数据中心到云平台的转换 113
4.1.4 资源弹性配置方法 117
4.2 虚拟集群的动态配置 119
4.2.1 虚拟集群配置项目 119
4.2.2 虚拟集群配置自适应 121
4.2.3 数据中心集群的虚拟化支持 122
4.2.4 VMware vSphere 6：商用云操作系统 123
4.3 AWS云及其服务项目 124
4.3.1 三大云架构与服务融合 124
4.3.2 AWS EC2计算引擎和S3存储云服务 127
4.3.3 其他AWS云服务产品 129
4.4 Google AppEngine与Microsoft Azure 133
4.4.1 Google AppEngine及其计算引擎 133
4.4.2 Google硬件/软件支持下的机器学习服务 137
4.4.3 Microsoft Azure云及其服务项目 138
4.5 Salesforce、IBM SmartCloud及其他云平台 141
4.5.1 用于SaaS服务的Salesforce云平台 141
4.5.2 IBM SmartCloud云平台、物联网及认知项目 143
4.5.3 SGI、NASA和CERN建立的云平台 145
4.6 结论 148
习题 149
参考文献 150
第5章 移动云、物联网、社交媒体与混搭云服务 153
5.1 无线互联网与移动云计算 153
5.1.1 移动设备与边际互联子网 153
5.1.2 WiFi、蓝牙和无线传感器网络 155
5.1.3 移动云计算的微云网 156
5.1.4 移动云与托管云 158
5.2 物联网感知以及与云的交互 160
5.2.1 本地与全球定位系统 161
5.2.2 构建移动云的无线接入网 162
5.2.3 物联网和云的互动框架与设备 164
5.3 社交媒体应用中的云计算 167
5.3.1 社交媒体大数据工业应用 167
5.3.2 社交网络与应用编程接口 170
5.3.3 社交图的特性与表示 172
5.3.4 智慧云的社交图分析 175
5.4 多云混搭架构与服务 176
5.4.1 混搭云的敏捷性与可扩展性 177
5.4.2 混搭云服务架构 179
5.4.3 混搭云服务的Skyline发现 182
5.4.4 混搭云服务的动态组成 184
5.5 结论 185
习题 185
参考文献 187
第三部分 机器学习原理与人工智能机器
第6章 机器学习算法与预测模型拟合 190
6.1 机器学习方法的分类 190
6.1.1 机器学习算法的种类 190
6.1.2 监督式机器学习算法 192
6.1.3 无监督机器学习算法 193
6.2 监督式回归与分类方法 193
6.2.1 预测的线性回归方法 194
6.2.2 机器学习的决策树 199
6.2.3 贝叶斯分类与训练样本 202
6.2.4 支持向量机 205
6.3 聚类方法与降维方法 207
6.3.1 聚类分析与k均值聚类 207
6.3.2 降维方法与强化学习 210
6.3.3 主成分分析方法 212
6.3.4 半监督学习方法 214
6.4 机器学习的建模方法 216
6.4.1 模型拟合的性能指标 216
6.4.2 降低模型过拟合的方法 217
6.4.3 避免欠拟合的方法 219
6.4.4 选择机器学习算法 219
6.5 结论 221
习题 221
参考文献 224
第7章 智能机器与深度学习网络 225
7.1 人工智能机器的发展 225
7.1.1 智能机器的技术成熟度曲线 225
7.1.2 谷歌人工智能产品及服务进展 226
7.1.3 IBM与其他公司的认知服务 230
7.1.4 Intel、Nvidia和CAS/ICT的深度学习芯片 231
7.2 增强现实、虚拟现实与区块链技术 233
7.2.1 增强、介导与虚拟现实 234
7.2.2 虚拟现实与相关产品 235
7.2.3 区块链在商业交易安全中的应用 236
7.3 深度学习人工神经网络 237
7.3.1 深度学习模仿人类认知功能 237
7.3.2 ANN的演进和应用 239
7.3.3 人工神经元的数学描述 240
7.3.4 多层ANN 241
7.3.5 ANN的正向传播与反向传播 244
7.4 深度学习网络的分类 247
7.4.1 深度学习网络的类型 247
7.4.2 卷积神经网络 248
7.4.3 深度神经网络的连接性能 252
7.4.4 循环神经网络 252
7.5 深度学习应用与其他认知功能 255
7.5.1 受限玻尔兹曼机 255
7.5.2 深度信念网络 256
7.5.3 深度学习与脑功能开发 257
7.6 结论 258
习题 258
参考文献 261
第四部分 云编程、性能提升与数据安全
第8章 基于Hadoop和Spark的云计算 264
8.1 大型集群的可扩展并行计算 264
8.1.1 可扩展计算的特点 264
8.1.2 从MapReduce到Hadoop和Spark 265
8.1.3 大数据处理的应用软件库 266
8.2 Hadoop及其HDFS和YARN 267
8.2.1 MapReduce云计算引擎 267
8.2.2 用于并行矩阵乘法的MapReduce 271
8.2.3 Hadoop架构及其最新扩展 273
8.2.4 Hadoop分布式文件系统 276
8.2.5 Hadoop YARN资源管理系统 279
8.3 Spark核心组件和弹性分布式数据集 280
8.3.1 Spark通用核心组件 280
8.3.2 弹性分布式数据集 282
8.3.3 用于DAG的RDD 284
8.4 Spark SQL和流编程 287
8.4.1 具有结构化数据的Spark SQL 287
8.4.2 使用实时数据流的Spark Streaming 288
8.4.3 Spark Streaming应用示例 290
8.5 用于机器学习的Spark MLlib和用于图像处理的GraphX 291
8.5.1 用于机器学习的Spark MLlib库 292
8.5.2 MLlib应用示例 293
8.5.3 用于图像处理的Spark GraphX 294
8.5.4 GraphX编程示例 295
8.6 结论 299
习题 300
参考文献 304
第9章 TensorFlow、Keras、DeepMind和图分析 306
9.1 神经网络计算平台TensorFlow 306
9.1.1 TensorFlow的关键概念 306
9.1.2 张量、变量、输入和提取操作 309
9.1.3 分布式TensorFlow执行环境 310
9.1.4 TensorFlow程序的执行会话 313
9.2 用于深度学习的TensorFlow系统 315
9.2.1 分层TensorFlow系统架构 315
9.2.2 TensorFlow在不同主机上的安装 317
9.2.3 分布式资源共享的TensorFlow生态系统 319
9.2.4 TensorFlow用于手写数字识别 320
9.2.5 TensorFlow用于认知服务 323
9.3 Google DeepMind及其他AI计划 326
9.3.1 强化深度学习算法 326
9.3.2 政策网络与价值网络的互动 328
9.3.3 AlphaGo计划中的强化学习 330
9.3.4 英国DeepMind Health项目 332
9.4 预测软件库、Keras库、DIGITS库和图库 333
9.4.1 用于认知应用的预测软件库 333
9.4.2 用于深度学习的Keras库和DIGITS 5 335
9.4.3 云中的图并行计算 338
9.4.4 社交网络中的社区检测 339
9.5 结论 342
习题 342
参考文献 343
第10章 云性能、安全和数据隐私 344
10.1 引言 344
10.1.1 什么是云性能和QoS 344
10.1.2 如何保护云和共享数据 345
10.2 云性能指标和基准 346
10.2.1 自动扩展、横向扩展和放大策略 347
10.2.2 云性能指标 350
10.2.3 雷达图表示的云性能模型 353
10.3 云基准结果的性能分析 357
10.3.1 可扩展云性能的弹性分析 357
10.3.2 横向扩展、放大和混合扩展性能 358
10.3.3 扩展策略的优缺点 360
10.4 云安全和数据隐私保护 362
10.4.1 云安全和隐私问题 362
10.4.2 云安全基础设施 364
10.4.3 移动云和安全威胁 369
10.5 云和数据中心的信任管理 370
10.5.1 分布式入侵和异常检测 370
10.5.2 云中基于信誉的信任管理 371
10.5.3 多个数据中心的P2P信任覆盖网络 374
10.6 结论 377
习题 377
参考文献 379
索引 381
