本书详细阐述了大数据的基本概念，大数据将成为商业银行核心竞争力，商业银行大数据应用的各类场景等内容，列举了当前商业银行普遍使用的各类大数据相关技术，结合数据治理的方法论及框架，商业银行数据治理成果以及大数据时代的特点，构建大数据治理体系。同时，结合商业银行自身特点，指出商业银行大数据治理能力提升的6个重点方向。最后，结合大数据成熟度模型构建数据治理能力评价方法，探讨数据资产估值的现状及可行性。
本书既有较为全面的理论知识又有丰富的商业银行实践与案例，可以作为商业银行数据管理者和大数据应用及开发人员的入门参考用书，也适合银行业务人员阅读，以帮助了解大数据应用对银行业务发展的意义和大数据治理对数据应用的支撑作用。

无

随着大数据的发展，大数据治理成为商业银行运营中必不可少的重要课题。为此，我们编写了本书。本书汇总了各方面信息，对大数据概念进行了深入浅出的释义，以帮助初步接触大数据概念的读者尽快对其获得较为感性的认识。同时，本书整理汇编了近几年来国内各大商业银行在大数据治理与应用领域的前沿探索和实践。通过对真实案例的分析研究，我们希望本书能为同业者在大数据治理与应用的发展上提供参考。此外，我们还希望通过覆盖全行业的银行大数据治理相关知识、概念，在大数据应用生态环境下，本书能为数据驱动传统金融业务创新发展再做一次宣传。
本书的特点，同时也是我们的重要目标，是整理近年来国内大数据治理与应用领域的重要研究成果，并将其融入大数据生态体系架构中进行整体阐述与推广。这些研究成果是本书的精髓与重点所在。我们希望以此为点，通过点面结合、以点带面，以大数据生态体系架构的知识要素为辅，使读者从细节到总体把握本书所述内容。我们取众家之精华、集多方之权威，为读者从众多繁杂的大数据治理知识中梳理出了一个简洁明了的学习脉络。除此之外，目前以介绍大数据治理为核心的书籍不多，介绍金融业、银行业，特别是国内银行业大数据应用实践的更是少之又少。本书通过将理论与实践相结合，弥补了这方面的空白，希望借此能够为读者研读商业银行业大数据治理提供全新的视角。
全书共分为三个部分，总体内容结构如下。
基础部分主要介绍大数据的基础知识，包括大数据的概念、大数据的发展历史和应用，分析了大数据作为银行核心竞争力的价值所在，以及银行应该如何应用大数据。
技术部分介绍与大数据相关的技术与应用方法，包括大数据采集、主流大数据平台和一些相关技术手段。
治理与实践部分介绍大数据治理的理论与方法，包括成熟的数据治理体系理论、大数据时代的新要求、银行业数据治理的演进过程、银行业大数据治理体系框架。实践部分介绍了大数据应用体系、大数据挖掘过程、大数据运营和大数据应用场景。此部分结合实践探讨了如何提高银行的大数据治理能力，如何对银行大数据治理能力进行评价，以及大数据应用价值和数据资产估值。
本书由邵理煜总体指导，黄登玺、潘学芳负责全书的具体编撰与统稿，潘学芳负责基础部分的编写，刘淼、彭强、李成参与技术部分的编写，潘学芳、李海丽、金佩、朱良姝、郭皓、王瑜、彭玥、赵春梅参与治理与实践部分的编写。同时，普华永道也参与了本书部分章节的编写，民生银行专家组对本书进行了复审。
尽管在编写过程中，编写人员投入了大量精力，付出了艰辛劳动，但由于水平与能力有限，难免存在错漏，恳请大家批评指正。

金融学/货币金融学

银行业信息科技风险管理高层指导委员会（简称高层指导委员会）是20家主要银行业金融机构自愿参与建立的行业性、专业性高层组织。高层指导委员会的宗旨是：以全面风险管理为导向，提升银行业信息科技核心竞争力和自主创新能力，提升银行业信息化建设和信息科技风险管理整体水平，推动银行业信息科技持续、健康发展，维护金融稳定和国家安全。高层指导委员会的主要任务是对银行业信息化建设与信息科技风险管理工作进行研究、指导，并提供咨询、建议，研究银行业信息化建设重大发展问题，深入传导贯彻信息科技监管政策，开展专业指导和风险分析，开展信息科技课题研究，推动银行业信息科技领域新兴技术研究，促进银行业信息科技领域的交流合作。高层指导委员会自2011年成立以来，相继建立了风险分析、课题研究、专业指导等常态化工作机制，编印内部刊物《金融科技治理与研究》，组建银行业信息科技发展与风险管理专家库，组织编著银行业信息化丛书，开展“银行业信息化高级人才提升计划”，有效提升了银行业信息化工作的整体性、科学性和前瞻性，为银行业信息科技领域的经验交流、知识分享和资源互补提供了有效的平台。

前言
基础部分
第1章　什么是大数据 / 2
1.1　数据及大数据发展史 / 2
1.2　大数据的概念 / 3
1.2.1　大数据的特征 / 4
1.2.2　大数据类型 / 5
1.2.3　银行业大数据 / 5
第2章　大数据成为银行业核心竞争力 / 7
2.1　银行业IT建设发展历程 / 7
2.1.1　电算化阶段 / 8
2.1.2　信息化阶段 / 8
2.1.3　网络移动化阶段 / 9
2.1.4　数字智能化阶段 / 11
2.2　银行业创新转型的突破口 / 14
2.2.1　大数据给银行业带来服务模式变革 / 15
2.2.2　大数据思维助力银行业从创新中挖掘效益 / 15
2.2.3　大数据推进数字化转型 / 17
2.3　大数据思维 / 20
2.4　数据挖掘能力 / 22
2.5　业界的关键观点 / 24
2.5.1　IBM的观点 / 24
2.5.2　普华永道的观点 / 24
技术部分
第3章　大数据技术概述 / 28
3.1　数据采集相关概念介绍 / 28
3.2　大数据的数据源与数据类型 / 29
3.2.1　大数据的数据源 / 29
3.2.2　传统的数据类型 / 31
3.2.3　大数据时代创新的数据类型 / 32
3.3　大数据的采集方法和工具 / 33
3.3.1　大数据采集方法 / 33
3.3.2　常用的大数据采集工具 / 34
第4章　大数据平台 / 36
4.1　MPP / 37
4.1.1　Teradata数据仓库 / 39
4.1.2　IBM Netezza / 42
4.1.3　Pivotal Greenplum / 43
4.1.4　GBase 8a Cluster / 44
4.2　Hadoop / 45
4.2.1　Hadoop是什么 / 45
4.2.2　Hadoop和大数据 / 46
4.2.3　Hadoop的发展历程 / 47
4.2.4　Hadoop生态圈 / 49
4.2.5　Hadoop核心组件 / 50
4.2.6　Hadoop其他组件 / 54
4.3　NoSQL / 55
4.3.1　概述 / 55
4.3.2　典型NoSQL简介 / 57
4.4　国内银行大数据平台的应用 / 61
4.4.1　概述 / 61
4.4.2　国内银行大数据平台介绍 / 61
4.5　大数据技术的云平台化 / 63
4.6　数据湖的介绍 / 64
4.6.1　数据湖的概念 / 64
4.6.2　数据湖的架构 / 64
4.6.3　数据湖与数据仓库的区别 / 66
第5章　大数据科学技术 / 68
5.1　相关概念介绍 / 68
5.1.1　数据挖掘 / 69
5.1.2　机器学习 / 70
5.2　数据挖掘算法 / 71
5.2.1　朴素贝叶斯分类模型 / 72
5.2.2　决策树模型 / 72
5.2.3　K最近邻分类算法 / 72
5.2.4　神经网络 / 73
5.2.5　支持向量机算法 / 73
5.2.6　集成学习 / 74
5.2.7　聚类分析 / 75
5.2.8　关联分析算法 / 76
5.2.9　最大期望算法 / 76
5.2.10　网页排名算法 / 76
5.2.11　其他常用算法 / 77
5.3　数据科学工具 / 78
5.3.1　SAS / 78
5.3.2　PASW / 78
5.3.3　R语言 / 79
5.3.4　Python / 79
5.3.5　MATLAB / 80
5.3.6　Stata / 80
5.3.7　Splunk / 80
5.3.8　Spark / 81
5.4　数据可视化技术 / 81
5.4.1　Tableau Desktop / 82
5.4.2　QlikView / 83
5.4.3　D3.js / 83
5.5　数据挖掘的应用 / 83
治理与实践部分
第6章　数据治理概述与理论研究 / 88
6.1　银行业数据治理的发展 / 88
6.1.1　数据大集中和数据仓库建设时期的数据治理 / 89
6.1.2　精细化管理和外部监管驱动下的数据治理 / 89
6.1.3　以企业级视角为重要标志的新时期大数据治理 / 89
6.2　监管数据治理体系及要求 / 89
6.2.1　《良好标准》与《指引》的制定 / 90
6.2.2　监管数据治理要求的目的和意义 / 91
6.2.3　《良好标准》的主要内容 / 91
6.2.4　《指引》的主要内容 / 92
6.3　银行业标准体系 / 92
6.3.1　制定背景 / 92
6.3.2　框架简介 / 93
6.3.3　作用 / 94
6.4　大数据时代的数据治理 / 94
6.4.1　大数据的特征 / 94
6.4.2　大数据时代给数据治理提出新的要求 / 95
6.4.3　大数据生命周期 / 97
6.4.4　大数据治理方法概述 / 97
6.5　数据治理理论研究 / 99
6.5.1　国际数据管理协会数据治理 / 100
6.5.2　国际治理协会数据治理 / 103
6.5.3　IBM数据治理 / 105
6.5.4　MIKE2.0数据治理 / 107
6.5.5　普华永道数据治理 / 109
6.5.6　理论总结 / 111
第7章　银行大数据治理实践 / 113
7.1　银行大数据治理体系框架 / 113
7.2　银行大数据治理实施策略与推进模式 / 115
7.2.1　大数据治理实施策略 / 115
7.2.2　大数据治理推进模式 / 118
7.2.3　三位一体的大数据治理能力建设 / 121
7.3　银行提升大数据应用能力的关键举措 / 122
7.4　大数据治理组织机制 / 124
7.4.1　大数据治理组织 / 124
7.4.2　首席数据官 / 125
7.4.3　数据认责机制 / 126
7.5　数据资产管理 / 129
7.5.1　数据资产管理的意义 / 130
7.5.2　数据资产特征与分类 / 130
7.5.3　数据架构与模型管理 / 131
7.5.4　数据质量管理 / 132
7.5.5　外部数据管理 / 135
7.6　数据安全及隐私 / 139
7.6.1　大数据带来的安全挑战 / 139
7.6.2　大数据安全挑战应对方式 / 140
第8章　银行大数据应用实践 / 142
8.1　大数据应用体系构建 / 142
8.1.1　数据正在成为银行的重要战略资产，未来银行必将是数据驱动型的 / 142
8.1.2　大数据应用体系构建能力 / 143
8.2　大数据挖掘 / 146
8.3　大数据运营 / 147
8.3.1　数据产品化 / 147
8.3.2　数据服务社区 / 153
8.3.3　数据服务目录 / 161
8.4　大数据应用场景 / 165
8.4.1　利用大数据支持客户服务提升 / 166
8.4.2　利用大数据支持客户营销 / 168
8.4.3　利用大数据进行线上客户智能运营 / 172
8.4.4　利用大数据进行智能风险管理 / 174
8.4.5　利用大数据提升运营效率 / 180
8.4.6　利用大数据预防和控制金融犯罪 / 181
第9章　银行大数据评价 / 184
9.1　银行大数据能力评价 / 185
9.1.1　数据管理能力成熟度模型 / 185
9.1.2　大数据成熟度模型 / 186
9.1.3　数据化能力指数：某银行数据能力评价实践 / 188
9.2　大数据应用价值评价 / 193
9.2.1　应用场景评价 / 193
9.2.2　应用结果评价 / 194
9.3　数据资产估值与交易 / 195
9.3.1　数据交易市场 / 195
9.3.2　数据资产估值 / 197
结语　谁将引领未来的潮流 / 199
参考文献 / 203