本书从大数据的业务与技术发展现状出发，探究大数据在零售领域的发力重心。然后从零售行业本质出发，分析零售行业变革诉求。基于大数据赋能，深入探讨新兴的零售数据应用，同时结合大量实际案例，分析目前智慧零售行业多种发展模式，对智慧零售的未来发展图景进行了阐述。
腾讯大数据平台十年磨一剑
践行“科技向善”落地方案
腾讯作为一家以互联网为基础的科技与文化公司，其互联网业务与亿万网民的日常生活息息相关，从社交平台出发，已拓展至娱乐、金融、资讯、工具、流量平台等多个业务板块。2019年，马化腾公布腾讯公司的新愿景为“用户为本，科技向善”，目前已经践行多个“科技向善”落地方案，例如与政府合作的AI寻人、AI医学影像产品“腾讯觅影”，以及培育高产量AI黄瓜等项目，而这些项目的背后无不是以腾讯大数据作为底层支撑，通过AI赋能创造可以为社会带来实际价值的产品。
腾讯数据人每天不得不面对海量的数据处理需求，例如用户每天在微信朋友圈和QQ空间上传的图片超过10亿张，腾讯视频每天播放量超过20亿次，除夕当天红包支付超过25亿笔，每天移动支付超过5亿笔，这些数据规模在国内均居行业前列。
伴随着业务的迅猛发展，腾讯大数据平台十年磨一剑，已经初步搭建完成了数据采集、存储、计算、应用、运维、治理等一整套大数据业务处理平台。本书正是在此背景下应运而生的，首次对外详细阐述了腾讯大数据平台系统架构，以及多年来平台建设的思考与沉淀。
本书内容总体分成两大部分，第一部分主要讲述腾讯大数据平台的技术体系，第二部分主要讲述腾讯大数据通过腾讯云对外开放的一系列产品。主要包括：
一、腾讯大数据的起源、技术理念及发展历程：重点讲述腾讯大数据从无到有的故事、开源路线选择的思考以及三代大数据平台架构的技术演进。
二、数据实时采集平台：重点讲述腾讯自主研发的高并发消息中间件，该平台在腾讯内部使用超过十年，每天接入数十万亿级的消息。
三、分布式存储平台：讲述广受欢迎的HDFS、Ceph、HBase等开源组件，并重点阐述下一代分布式存储平台Ozone。
四、分布式计算平台：重点讲述腾讯大数据历经十年发展的变迁史，从Hadoop到Spark，从Storm到Flink的发展史，同时也讲述任务调度系统及多种计算分析引擎。
五、资源调度平台：重点讲述如何实现十万节点级别的大规模集群的调度管理，阐述CPU、GPU、内存、磁盘、网络等资源调度的优化。
六、数据治理体系：涉及元数据、数据资产管理、数据安全等内容。
七、机器学习平台：介绍腾讯大数据自主研发的高性能分布式机器学习平台Angel，这是国内首个在全球范围的顶级开源社区毕业的机器学习平台。
八、数据内容挖掘：主要讲述对数据价值的挖掘、以用户画像为核心的数据内容的挖掘。
九、大数据平台运营：大数据平台的核心竞争力很大一部分来自平台的运维与运营，腾讯大数据平台的机器节点规模超过十万台，但腾讯大数据运维团队只有二三十人，这里主要讲述运维团队经历的方方面面。
十、对外开放的腾讯大数据能力：讲述腾讯大数据套件TBDS、一站式机器学习平台智能钛TI，也讲述每天推送量达到数百亿的移动推送平台，重点披露承载了腾讯大数据超过500万核的底层算力平台的技术实践细节，还有智能客服机器人、数据可视化产品等。
本书由腾讯数据平台部组织编写，详尽地记录了腾讯大数据技术发展与演进各个阶段所使用的技术，也记录了腾讯大数据团队经历过的各种考验，希望可以给各位同行及有志于从事大数据行业的朋友一些启发与借鉴。
计算机\人工智能
数字经济时代，数据已成为重要的生产要素。腾讯作为一家大型互联网科技公司，在业务快速发展的同时，也带来了数据的爆发式增长和对技术的极高要求。腾讯大数据经过十余年深耕不辍的探索实践，从2009年搭建第一个Hadoop集群，到第四代数智融合计算平台，团队支撑着腾讯多业态发展，也力求突破革新，走出了一条从开源到自研的构建之道。
全书共13章，分两大部分进行全面而系统的介绍，第一部分从腾讯大数据平台的发展历程和总体架构切入，深入剖析了各项技术原理，阐述了实战过程中的挑战和自研核心技术的设计思想，覆盖了大数据接入、计算、存储、分析、调度等大量技术组件。第二部分主要介绍了腾讯在数据治理、数据应用、机器学习和平台运营方面的建设经验，并对腾讯大数据产品及其在内外部场景的实践落地进行了解读， 书中列举的大量实践案例对广大读者都极具参考价值和借鉴意义。
本书汇集了腾讯几十位一线技术专家铢积寸累的思考和实战精髓，以全面的视角、认真审慎的态度，讲述了腾讯大数据的核心体系，形成了这样一部翔实、丰富和系统化的大数据著作。相信本书可为广大读者、相关企业提供参考路线和实战经验，同时也为大数据产业和数字化创新贡献一份微薄之力。
前言
第1章 打造腾讯大数据平台 1
1.1 腾讯大数据的缘起 3
1.2 腾讯大数据的构建理念 5
1.3 腾讯大数据的总体架构 7
第2章 数据实时采集平台 11
2.1 接入层挑战 12
2.2 接入管理层TDManager 14
2.3 数据采集 17
2.4 数据总线 23
2.5 消息中间件 30
2.6 数据分拣 40
2.7 接入层展望 44
第3章 分布式存储平台 46
3.1 文件存储HDFS 47
3.2 统一存储Ceph 62
3.3 下一代大数据存储Ozone 77
3.4 KV存储HBase 88
第4章 分布式计算平台 99
4.1 批处理MapReduce 100
4.2 批处理Spark 107
4.3 批处理漂移计算SuperSQL 123
4.4 流处理Flink 146
4.5 SQL数据仓库Hive 165
4.6 任务调度 175
第5章 数据分析引擎 184
5.1 关系型OLAP：腾讯实时多维分析平台 185
5.2 关系型OLAP：ClickHouse 200
5.3 多维OLAP：Kylin 211
5.4 多维OLAP：Druid 222
第6章 资源调度平台 234
6.1 Yarn项目背景 235
6.2 调度器性能优化 241
6.3 集群的高可用性 244
6.4 多资源维度弹性管理 254
第7章 数据治理体系 261
7.1 元数据 262
7.2 数据资产管理 271
7.3 大数据安全 283
第8章 机器学习平台 298
8.1 图智能平台 299
8.2 Angel 310
8.3 联邦学习 333
第9章 数据内容挖掘 350
9.1 概览 351
9.2 广告内容挖掘 352
9.3 用户画像数据体系 365
9.4 用户画像构建方法 366
9.5 数据内容挖掘与推荐 379
9.6 数据内容挖掘与AI创作 380
第10章 大数据平台运营 384
10.1 大数据服务规划 385
10.2 大数据平台治理 393
10.3 自动化运维体系构建 397
10.4 平台运营成本优化 404
10.5 大数据运营分析与应用体系 408
第11章 大数据平台产品设计 410
11.1 TBDS大数据处理套件 411
11.2 Oceanus实时流式数据处理平台 419
11.3 ideX数据分析与探索挖掘工具 425
11.4 智能钛TI机器学习平台 429
第12章 企业级容器云平台GaiaStack 438
12.1 GaiaStack产品背景和目标 439
12.2 GaiaStack架构和技术特点 446
12.3 GaiaStack核心技术 454
第13章 大数据应用服务 503
13.1 智能客服机器人 504
13.2 移动推送 526
13.3 数据可视化产品小马BI 535
参考文献 549
