这是一部从企业架构视角系统讲解企业级数据架构的著作，包含数据架构的原理、方法和实践。
本书拟分为四个部分共17个章节来系统性的阐述数据架构相关内容；
第1部分 架构基础主要包含1个章节
1.数据架构与企业架构 其主要从宏观的角度阐述企业架构与数据架构的关系以及重要性使读者明白数据架构并不是孤立存在的且与企业架构息息相关
第2部分 数据架构基础主要包含5个章节从理论以及工具层面阐述数据架构的构成
2.数据架构构成 介绍数据架构的主要组成以及框架
3.数据存储 数据架构落地中常见的存储选型以及实用场景
4.数据调度与消息传输 数据架构中调度服务以及消息传输的通用技术选型以及可能出现的关键问题以及优化手段
5.Lambda架构与Kappa架构 系统性的阐述主流的两种数据架构以及使用场景
6.辅助类组件 数据架构中帮助测试以及运维人员精准的定位问题的相关辅助组件，例如日志收集、系统监控以及APM等
第3部分 数据架构实践 基于大量的业务实践，总结数据架构实践中核心组组成以及关键方法进行拆解
7.企业数据区域以及流向 以不同的维度去拆解企业的数据，帮助读者构建数据架构的落地层面的意识，知道为什么拆以及如何去拆
8.模型架构详解 以主流的两种建模方法论为切入点，讨论并对比优劣并让读者拓展模型设计中的工具箱。
9.模型设计 以维度建模为例，详细的介绍不同数据层级、不同类型数据的建模方法，具体案例来源于大量的模型实践
10.元数据 了解什么是元数据及其重要性以及如何管理数据
11.数据质量 基于数据质量去设计数据质量监控体系，做好事前防范、事后治理
12.数据标准 构建数据标准框架以及流程，挖掘具体数据标准落地在企业中的难度。
第4部分 数据资产管理
13.企业数据资产 企业数据资产的构成以及搭建路径以及工具等
14.数据治理 结合元数据、数据质量以及数据标准等，系统的阐述数据治理类型项目的落地
15.大数据平台实践 如何一步一步搭建基于Hadoop大数据平台
16.实时数据仓库搭建 如何构建企业级别的实施数据仓库
17.本书总结 总结写书的感悟以及后续的一些想法等
企业数据架构标准方法论与实践指南
平安科技首席架构师与平安资管总经理联袂推荐
头部保险资管公司资深数据架构师10余年工作经验总结
计算机/软件架构
数据架构对企业的发展和竞争力提升有着深远的影响。本书理论结合实践，以深入浅出的方式，全面解析了企业级数据架构的核心概念、设计方法和技术选型，为企业实现数据驱动决策提供了全面参考。我相信本书可以提升你的数据价值认知，实现数据价值，推荐阅读。
—— 罗水权 平安资管总经理
本书详细介绍了数据架构、数据存储、数据处理等方面的知识，系统地阐述了数字资产管理的理念、方法、流程和技术，同时还深入探讨了数据治理的框架、方法、工具等。无论是学术研究还是工作实践，本书都能为读者提供宝贵的指导和参考。掌握本书的知识，读者将能够更好地应对数据时代的挑战，提升自己的数据管理和治理能力。
—— 晏沛泉 平安资管科技中心部门长
本书既有对经典数据架构体系的传承，又能给读者极具前瞻性的启发，从企业架构的框架理论入手，对数据架构的理论、组成及每个组成部分的工具和技术路线进行了详细的阐述，是一本宝贵的企业数据架构工具书。本书对数据从业者具有很高的价值，为数据行业的发展注入了力量！
—— 张忠梅 中电金信商业分析事业部华东区总经理
如何利用合理的数据架构和成熟的数字技术来推动业务的转型和创新，提高竞争力和市场适应能力，是券商当前的重点任务之一。这本书就是一场及时雨，阐述了不同时期的企业数据架构建设思路。阅读后，我更加理解我的客户当前数据化转型的痛点和所处的阶段。书中的理论和实践，不仅可以提升我司员工的企业数据架构水平，而且能指引我找到更适合用户的企业数据架构。
—— 章莉莉 江苏腾霜白信息科技有限公司创始人
李杨 著：资深数据架构师，在数据相关领域有10年以上工作经验。头部保险资管公司科技平台交易系统团队开发组负责人，负责多个应用以及数据平台平台的建设、优化以及迁移工作。曾担任某数据公司技术合伙人，曾参负责多个金融机构的数据仓库或数据平台相关的工作。
在数据质量管理、数据治理等领域有着非常深厚的积累，熟悉不同行业数字化转型。此外，他还是一名经验丰富的应用工程师，对大数据、数据库以及主流的技术栈有着非常深入的了解。
2022年被集团评为“优秀架构师”，积极参与行业内部的相关课题研究，是《保险问道之保险资管数字化探索》一书的执笔人之一，是中资协《金融科技赋能保险资管风险管控的研究》课题核心组成员之一。
第一部分 架构基础
1.数据架构与企业架构
1.1.Zachman框架
1.2.TOGAF架构
1.3.什么是企业架构
1.3.1 企业架构综述
1.3.2 企业架构分类
1.4.业务架构与企业架构
1.4.1 什么是业务架构
1.4.2 业务架构与企业架构的关系
1.5.数据架构与企业架构
1.5.1 什么是数据架构
1.5.2 数据架构与企业架构的关系
1.6.本章小结
第二部分 数据架构基础
2.数据架构构成
2.1.数据模型
2.2.数据策略
2.3.数据标准
2.4.数据质量
2.5.数据管理流程
2.6.常见数据架构技术选型
3.数据存储
3.1.常见关系型数据库
3.2.分布式数据库
3.3.文件存储
3.3.1.OSS
3.3.2.HDFS
3.4.列式存储
3.4.1.ClickHouse
3.4.2.HBase
3.5.数据缓存
3.6.其他存储
3.7.存储计算分离
3.8.总结
4.数据调度与消息传输
4.1.通用技术选型
4.1.1.传统关系型数据库
4.1.2.大数据平台
4.1.3.实时计算
4.2.Kettle调度平台解析
4.2.1.Kettle原理解析
4.2.2.Kettle作业搭建
4.2.3.Kettle常见性能优化方法
4.2.4.Kettle与其他调度平台对比
Airflow/Azkaban/Xxj-job
4.3.Kafka消息中间件解析
4.3.1.Kafka原理解析
4.3.2.Kafka数据接入
4.3.3.Kafka性能优化
4.3.4.Kafka与其他中间件对比
4.4.总结
5.Lambda架构与Kappa架构
5.1.Lambda架构概述
5.2.Kappa架构概述
5.3.Lambda架构构成
5.4.Lambda VS. Kappa
5.5.Lambda应用举例
5.6.总结
6.辅助类组件
6.1.通用监控体系搭建
6.1.1.资源监控
6.1.2.应用监控
6.1.3.基于APM的全链路监控
6.2.ELK日志收集平台
6.3.基于CI/CD的流水线平台部署
6.4.基于监控系统的问题定位
6.5.总结
第三部分 数据架构实践
7.企业数据区域以及流向
7.1.企业数据概述
7.2.数据区域划分的意义
7.3.数据区域拆分
7.3.1.操作型数据区
7.3.2.集成型数据区
7.3.3.分析型数据区
7.3.4.历史数据区
7.4.企业数据流向划分的意义
7.5.企业数据流向划分
7.5.1.技术缓冲层
7.5.2.数据贴源层
7.5.3.数据整合区
7.5.4.主题模型层
7.5.5.共性加工层
7.5.6.集市层
7.6.企业数据架构技术选型
7.7.企业数据模型架构拆分
7.8.企业数据平台实施路径
7.9.总结
8.模型架构详解
8.1.为什么要建模
8.2.数据层级
8.3.建模策略
8.4.建模实施三步走
8.5.范式建模
8.6.维度建模
8.7.维度建模与范式建模对比
8.8.三种常见模型
8.9.模型设计的三种模型对比
8.10.总结
9.模型设计
9.1.数据模型
9.2.概念模型
9.3.逻辑模型
9.4.维度设计的目标
9.5.维度与事实
9.6.维度建模的局限性
9.7.维度表设计要点
9.7.1.什么是维度以及维度类型介绍
缓慢变化维/快照维/特殊维度介绍
9.7.2.维度表设计流程
维度整合拆分
9.7.3.总线结构
9.8.事实表设计要点
9.8.1.什么是事实表以及类型介绍
9.8.2.事实表设计流程
9.9.维度设计
9.9.1.缓慢变化维度处理
9.9.2.快照维度处理
9.9.3.递归层次维度的处理
9.9.4.多值维度的处理
9.10.事实表设计
9.10.1.单事务事实表处理
9.10.2.多事务事实表处理
9.10.3.逆范式事实表处理
9.10.4.周期快照事实表处理
9.11.共性加工层设计方法
9.12.总结
10.元数据
10.1.什么是元数据
10.2.元数据的重要性
10.3.技术元数据
10.4.业务元数据
10.5.管理元数据
10.6.元数据管理
10.6.1.血缘分析
10.6.2.影响分析
10.7.元数据的生命周期
10.8.元数据管理实施
10.9.常见元数据管理工具
10.10.总结
11.数据质量
11.1.什么是数据质量
11.2.数据质量对于企业的意义
11.3.数据质量框架设计
11.3.1.事前防范
11.3.2.事中监控
11.3.3.事后治理
11.4.数据质量评估体系
11.4.1.数据完整性
11.4.2.数据正确性
11.4.3.数据一致性
11.4.4.数据及时性
11.4.5.数据安全性
11.5.数据对象拆分
11.6.数据质量规则管理
11.7.数据质量产出
11.8.数据质量实施技术
11.9.总结
12.数据标准
12.1.什么是数据标准
12.2.数据标准的重要性
12.3.数据标准设计
12.4.数据标准调研
12.5.数据标准框架
12.5.1.公共数据
12.5.2.交易数据
12.6.数据标准的确定
12.7.数据标准的评估
12.8.数据标准的挑战
12.9.总结
第四部分 数据资产管理
13.企业数据资产
13.1.什么是数据资产
13.2.为什么企业要构建数据资产
13.3.企业数据资产目录
13.4.数据资产与数据管控体系的关系
13.5.企业数据资产实施路径
13.6.数据资产常见技术架构
13.7.数据采集层
13.8.数据存储计算层
13.9.数据资产服务层
13.10.数据资产应用层
13.11.常见数据分析工具
13.12.总结
14.数据治理
14.1.数据治理概述
14.1.1.数据治理需求的必然性
14.1.2.为什么需要数据治理
14.1.3.数据治理在企业中的挑战
14.2.数据治理的原则概述
14.3.数据治理通用流程
14.4.数据治理的产出与评估
14.5.数据治理工具以及技术
14.6.总结
15.大数据平台实践
15.1.大数据时代下的数据仓库概述
15.2.技术选型与架构
15.3.应用组件部署与联通
15.3.1.Haoop部署
15.3.2.Hbase 部署
15.3.3.Hive部署
15.3.4.调度平台部署
15.4.平台整体压测
15.5.报表平台
15.6.通用平台性能优化工具与方法
15.7.数据仓库升级数据湖的实施步骤
15.8.总结
16.实时数据仓库搭建
1.1.判断是否需要实时数据仓库
1.2.实时数据仓库技术选型
1.3.主流技术架构对比
1.4.实时数据仓库实施路径
1.5.实时数据仓库常见问题
1.6.总结
17.本书总结
