本书是一本针对设计充分利用云灵活性的现代可伸缩数据平台的实践指南。你将了解云数据平台设计的核心组件，以及Spark和Kafka流等关键技术的作用。你还将探索如何设置流程来管理基于云的数据，确保数据的安全，并使用高级分析和BI工具对数据进行分析。本书旨在帮助企业通过现代云数据平台使用所有数据的业务集成视图，并利用先进的分析实践来驱动预测和迄今无法想象的数据服务。
无
本书是我们协作完成的，我们都热爱数据、新技术和解决客户问题。我们在一家从事数据、分析和云IT服务的公司一起工作了5年，在那里合作开发了一个云分析实践。拥有多年Hadoop经验的Danil负责技术开发，而Lynda负责商业运营。我们很早就意识到这两者都是解决现实世界的数据问题所需要的，随着时间的推移，Danil变得更加以业务为导向，而Lynda对云和数据也有了足够的了解，可以为Danil提供帮助，有时甚至可以挑战Danil。
Hadoop作为一个大数据平台转变为用于数据和分析的云原生平台，因为我们都相信云和大数据的前景。在老板的支持下，我们组建了一个内部团队，不仅设计并交付了出色的技术解决方案，而且还使用数据和云交付了真正的商业成果。我们为几十个客户提供了这些服务，并且随着时间的推移，我们开发了一套最佳实践和知识体系。正是这种经历，以及我们独特的技术和商业技能的结合，让我们可以承担一个非常复杂的技术主题，并使它为大众所认可。我们首先从博客文章和白皮书开始，当Manning打电话问Danil是否想再写一本书（他的第一本书是关于Hadoop的）时，我们一拍即合。
我们都是行业活动的活跃演讲者，因此利用这些机会为本书制定了大纲，并通过读者的反馈来予以完善。我们还加入了真实的客户案例，让本书更生动、更具实际意义。
计算机/云计算
设计良好的管道、存储系统和API消除了内部数据中心所需的复杂扩展和维护。学习了云数据平台的设计模式，无论使用哪家云供应商，你都可以最大限度地提高性能。
本书揭示了一种可以提高灵活性并降低成本的6层方法。你将发现从各种来源摄取数据的模式，并学习利用云供应商提供的预构建服务。
主要内容
结构化和非结构化数据集的最佳实践。
云端机器学习工具。
元数据和实时分析。
防御性架构、访问和安全。
本书是为熟悉云计算、Hadoop或Spark基础知识的数据专业人士准备的。
“这是一本从头开始构建云数据平台的必备指南！”
—— Mike Jensen, Arcadia
“本书是对云数据平台和宝贵资源的全面概述。”
—— Ubaldo Pescatore,
Generali Business Solutions
“一本清晰、简洁、实用的指南……提供了对整个应用程序和平台在架构及工具方面的精彩介绍。”
—— Ken Fricklas, Google
“本书真实地介绍了云数据平台的架构、挑战和模式。”
—— Hugo Cruz,
People Driven Technology
前言
致谢
引言
第1章 数据平台介绍1
1.1 从数据仓库向数据平台转变背后的趋势2
1.2 数据仓库与数据的多样性、规模和速度3
1.2.1 多样性3
1.2.2 规模4
1.2.3 速度5
1.2.4 所有的V同时出现5
1.3 数据湖6
1.4 云来了7
1.5 云、数据湖、数据仓库：云数据平台的出现9
1.6 云数据平台的构建块9
1.6.1 摄取层10
1.6.2 存储层10
1.6.3 处理层11
1.6.4 服务层13
1.7 云数据平台如何处理这三个V14
1.7.1 多样性14
1.7.2 规模14
1.7.3 速度15
1.7.4 另外两个V15
1.8 常见用例16
第2章 为什么是数据平台而不仅仅是数据仓库18
2.1 云数据平台和云数据仓库的实践19
2.1.1 近距离观察数据源20
2.1.2 云数据仓库—纯架构示例21
2.1.3 云数据平台架构示例22
2.2 摄取数据24
2.2.1 将数据直接摄取到Azure Synapse24
2.2.2 将数据摄取到Azure数据平台25
2.2.3 管理上游数据源的变化26
2.3 处理数据28
2.3.1 处理数据仓库中的数据29
2.3.2 处理数据平台上的数据31
2.4 访问数据32
2.5 云成本方面的考虑34
2.6 练习答案36
第3章 不断壮大并利用三巨头：Amazon、Microsoft Azure和Google37
3.1 云数据平台分层架构38
3.1.1 数据摄取层40
3.1.2 快存储和慢存储43
3.1.3 处理层45
3.1.4 技术元数据层47
3.1.5 服务层和数据消费者48
3.1.6 编排层和ETL覆盖层52
3.2 数据平台架构中层的重要性57
3.3 将云数据平台层映射到特定工具59
3.3.1 AWS61
3.3.2 Google Cloud65
3.3.3 Azure70
3.4 开源和商业替代方案73
3.4.1 批量数据摄取74
3.4.2 流数据摄取和实时分析74
3.4.3 编排层75
3.5 练习答案77
第4章 将数据导入平台78
4.1 数据库、文件、API和流79
4.1.1 关系型数据库80
4.1.2 文件81
4.1.3 通过API的SaaS数据81
4.1.4 流82
4.2 从关系型数据库中摄取数据83
4.2.1 使用SQL接口从RDBMS摄取数据83
4.2.2 全表摄取85
4.2.3 增量表摄取90
4.2.4 变更数据捕获94
4.2.5 CDC供应商概述98
4.2.6 数据类型转换100
4.2.7 从NoSQL数据库摄取数据102
4.2.8 为RDBMS或NoSQL摄取管道捕获重要的元数据104
4.3 从文件中摄取数据107
4.3.1 跟踪已摄取的文件109
4.3.2 捕获文件摄取元数据112
4.4 从流中摄取数据113
4.4.1 批量摄取和流摄取的区别117
4.4.2 捕获流管道元数据118
4.5 从SaaS应用程序摄取数据119
4.5.1 没有标准的API设计方法121
4.5.2 没有标准的方法来处理全数据导出和增量数据导出121
4.5.3 结果数据通常是高度嵌套的JSON122
4.6 将数据摄取到云中需要考虑的网络和安全问题122
4.7 练习答案125
第5章 组织和处理数据126
5.1 在数据平台中作为单独的层进行处理127
5.2 数据处理阶段129
5.3 组织你的云存储130
5.4 通用数据处理步骤137
5.4.1 文件格式转换137
5.4.2 重复数据清除142
5.4.3 数据质量检查147
5.5 可配置的管道149
5.6 练习答案152
第6章 实时数据处理和分析153
6.1 实时摄取与实时处理154
6.2 实时数据处理用例156
6.2.1 零售用例：实时摄取156
6.2.2 线上游戏用例：实时摄取和实时处理158
6.2.3 实时摄取与实时处理的总结160
6.3 什么时候应该使用实时摄取或实时处理161
6.4 为实时使用组织数据163
6.4.1 对快存储的解剖163
6.4.2 快存储是如何扩展的166
6.4.3 在实时存储中组织数据168
6.5 通用的实时数据转换173
6.5.1 实时系统中数据重复的原因173
6.5.2 实时系统中的数据重复清除176
6.5.3 在实时管道中转换消息格式181
6.5.4 实时数据质量检查182
6.5.5 将批量数据与实时数据相结合183
6.6 用于实时数据处理的云服务184
6.6.1 AWS实时处理服务185
6.6.2 Google Cloud实时处理服务186
6.6.3 Azure实时处理服务188
6.7 练习答案190
第7章 元数据层架构191
7.1 元数据是什么192
7.1.1 业务元数据192
7.1.2 数据平台内部元数据或管道元数据193
7.2 利用管道元数据193
7.3 元数据模型197
7.4 元数据层实现选项207
7.4.1 元数据层作为配置文件的集合207
7.4.2 元数据数据库210
7.4.3 元数据API212
7.5 现有的解决方案概述214
7.5.1 云元数据服务214
7.5.2 开源元数据层实现216
7.6 练习答案220
第8章 模式管理221
8.1 为什么要进行模式管理222
8.1.1 传统数据仓库架构中的模式变化222
8.1.2 读时模式方法223
8.2 模式管理方法225
8.2.1 模式即契约226
8.2.2 数据平台中的模式管理228
8.2.3 监控模式变化234
8.3 模式注册表实现235
8.3.1 Apache Avro模式236
8.3.2 现有的模式注册表实现237
8.3.3 模式注册表作为元数据层的一部分238
8.4 模式演化场景240
8.4.1 模式兼容性规则242
8.4.2 模式演化和数据转换管道244
8.5 模式演化和数据仓库247
8.6 练习答案252
第9章 数据访问和安全253
9.1 不同类型的数据消费者254
9.2 云数据仓库255
9.2.1 AWS Redshift256
9.2.2 Azure Synapse259
9.2.3 Google BigQuery262
9.2.4 选择正确的数据仓库265
9.3 应用程序数据访问266
9.3.1 云关系型数据库267
9.3.2 云键–值数据存储268
9.3.3 全文检索服务269
9.3.4 内存缓存269
9.4 数据平台上的机器学习270
9.4.1 云数据平台上的机器学习模型生命周期271
9.4.2 ML云协作工具274
9.5 商业智能和报表工具275
9.5.1 传统的BI工具与云数据平台的集成275
9.5.2 使用Excel作为一种BI工具276
9.5.3 云提供商外的BI工具276
9.6 数据安全277
9.6.1 用户、组和角色277
9.6.2 凭证和配置管理278
9.6.3 数据加密278
9.6.4 网络边界278
9.7 练习答案280
第10章 利用数据平台提升业务价值281
10.1 为什么需要数据策略281
10.2 分析成熟度之旅283
10.2.1 看：从数据中获得洞见284
10.2.2 预测：使用数据来预测要做什么285
10.2.3 做：让分析具有可操作性286
10.2.4 创造：超越分析进入产品287
10.3 数据平台：推动分析成熟度的引擎287
10.4 阻碍平台项目的因素289
10.4.1 时不待人289
10.4.2 用户采用290
10.4.3 用户信任与数据治理需求291
10.4.4 在平台孤岛中操作291
10.4.5 美元之舞292
