本书全面讲解云存储系统的开发技术与实践方法，分为三部分，第一部分：基础篇，介绍云存储系统定义、云存储架构原理，这是学习与理解云存储系统的基础，包括云存储的核心技术：分布式存储。第二部分：技术篇，按照分布式文件、KV、表格以及数据库系统介绍云存储底层系统的技术架构细节，再介绍如何实现存储的服务化（即云存储）并介绍和对比了Google、Amazon和Microsoft的云存储产品。详细介绍如何通过普通的PC机搭建廉价的云存储系统及服务。第三部分：实践篇，详细介绍了淘宝Oceanbase云存储系统的设计思路、架构和实现细节，说明设计和实现的难点问题以及各种解决方法，同时总结了工程实践经验，包括规范制订、经验法则、质量控制、运维监控等。
本书是作者多年实践经验的总结，内容深入浅出、实用性强。可帮助一线云计算开发技术人员快速构建云存储系统，也可供广大数据库技术开发人员参考。

分布式存储系统是分布式系统中最基础、最复杂的部分，它涉及数据的持久化、一致性和可用性，针对不同的访问需求在架构上有很多不同的取舍。本书作者在分布式存储系统方面有多年的实践经验，将所见所思所得凝聚成这本书，其中涵盖很多典型的分布式存储系统，是了解分布式系统的很好读物。
—— 章文嵩，阿里巴巴高级研究员，核心系统部负责人，LVS作者
本书覆盖的信息量及知识点非常全面，是了解分布式存储不可多得的书籍，对指导分布式领域开发也具有重要参考价值。
—— 杨卫华，新浪微博首席架构师
分布式存储这个领域面宽水深，无论是分布式理论、存储还是案例，铺开写都是卷帙浩繁。本书一是胜在围绕最具广泛实用价值的基于通用硬件构建大规模分布式存储系统这一核心进行了很好的材料组织选取；二是胜在对OceanBase实现机制的深度剖析。本书作者是OceanBase的核心开发人员，对分布式存储系统身体力行，自然有很多独特的洞见。因此，本书实用性和独特性俱佳，必须入手一读。
—— 汪源，网易杭州研究院副院长
分布式系统固有的复杂性加上大规模存储系统的工程挑战，让真正理解这个体系变得非常困难。作者在相关领域拥有多年一线开发经验，从实践工作中将相关知识萃取出来，清晰地呈现给读者。因此，我愿意将此书推荐给真正想了解分布式存储系统原理并勇于实践的读者。
—— 余锋，阿里巴巴资深技术专家，花名褚霸，有知名博客：http://blog.yufeng.info/
作者先后在百度、阿里巴巴等公司长期致力于大规模存储和分布式等技术的研究，对BigTable、Dynamo等业界知名存储系统也有深入的了解，同时在Pyramid、OceanBase等系统的架构、设计和开发上有过大量的实践工作。大规模存储是互联网和云计算产业的基石，而作者的这些技术是能真正应用在工业系统中的。难能可贵的是，作者将这些技术细节和系统如此有条理地展现出来，无论对大规模存储和分布式领域的初学者还是进阶者，都有巨大的帮助。
—— 赖春波，百度架构师，分布式存储技术负责人

对于淘宝网而言，2012年的“双十一”是一个里程碑，是一个巨大的挑战，在这个“神棍节”里，淘宝创下191亿元的交易额，在这海量交易的背后隐藏着哪些复杂技术？其中之一就是分布式存储技术。阿里巴巴在大规模分布式存储技术这方面走在了前面，其OceanBase是基于普通PC服务器的千亿级海量数据库系统，既实现了跨行跨表事务、强数据一致性以及毫秒级的查询修改响应时间，又具备自动故障恢复、自动负载均衡以及良好的扩展性，支持多机房部署。更加难得的是，阿里巴巴把OceanBase开源了，这将进一步快速地推动分布式存储技术的发展。本书的作者是阿里巴巴OceanBase核心开发人员，参与了OceanBase的设计与开发，对分布式存储系统有深刻的理解，书中将分享他在OceanBase系统开发过程中的实践经验。


作者简介
杨传辉　 阿里巴巴高级技术专家，花名日照，OceanBase核心开发人员，对分布式系统的理论和工程实践有深刻理解。曾在百度作为核心成员参与类MapReduce系统、类Bigtable系统和百度分布式消息队列等底层基础设施架构工作。热衷于分布式存储和计算系统设计，乐于分享，有技术博客NosqlNotes（http://nosqlnotes.net）。
阿里巴巴高级技术专家（OceanBase核心开发人员）撰写，阳振坤、章文嵩、杨卫华、汪源、余锋（褚霸）、赖春波等来自阿里巴巴、新浪、网易和百度的资深技术专家联袂推荐。
系统讲解构建大规模存储系统的核心技术和原理，详细分析Google、Amazon、Microsoft和阿里巴巴的大规模分布式存储系统的原理。
实战性强，通过对阿里巴巴的分布式数据库OceanBase的实现细节进行深入分析，全面讲解了大规模分布式存储系统的架构方法与应用实践。

随着社交网络、移动互联网、电子商务等技术的不断发展，互联网的使用者贡献了越来越多的内容。为了处理这些内容，每个互联网公司在后端都有一套成熟的分布式系统用于数据的存储、计算以及价值提取。Google是全球最大的互联网公司，也是在分布式技术上相对成熟的公司，其公布的Google分布式文件系统GFS、分布式计算系统MapReduce、分布式表格系统Bigtable都成为业界竞相模仿的对象，最近公布的全球数据库Spanner更是能够支持分布在世界各地上百个数据中心的上百万台服务器。Google的核心技术正是后端这些处理海量数据的分布式系统。和Google类似，国外的亚马逊、微软以及国内互联网三巨头阿里巴巴、百度和腾讯的核心技术也是其后端的海量数据处理系统。
　　本书的内容是介绍互联网公司的大规模分布式存储系统。与传统的高端服务器、高端存储器和高端处理器不同的是，互联网公司的分布式存储系统由数量众多的、低成本和高性价比的普通PC服务器通过网络连接而成。互联网的业务发展很快，而且注重成本，这就使得存储系统不能依靠传统的纵向扩展的方式，即先买小型机，不够时再买中型机，甚至大型机。互联网后端的分布式系统要求支持横向扩展，即通过增加普通PC服务器来提高系统的整体处理能力。普通PC服务器性价比高，故障率也高，需要在软件层面实现自动容错，保证数据的一致性。另外，随着服务器的不断加入，需要能够在软件层面实现自动负载均衡，使得系统的处理能力得到线性扩展。
　　分布式存储和当今同样备受关注的云存储和大数据又是什么关系呢？分布式存储是基础，云存储和大数据是构建在分布式存储之上的应用。移动终端的计算能力和存储空间有限，而且有在多个设备之间共享资源的强烈的需求，这就使得网盘、相册等云存储应用很快流行起来。然而，万变不离其宗，云存储的核心还是后端的大规模分布式存储系统。大数据则更近一步，不仅需要存储海量数据，还需要通过合适的计算框架或者工具对这些数据进行分析，抽取其中有价值的部分。如果没有分布式存储，便谈不上对大数据进行分析。仔细分析还会发现，分布式存储技术是互联网后端架构的“九阳神功”，掌握了这项技能，以后理解其他技术的本质会变得非常容易。
　　分布式存储技术如此重要，市面上也有很多分布式系统相关的书籍。然而，这些书籍往往注重理论不重实践，且所述理论也不太适合互联网公司的大规模存储系统。这是因为，虽然分布式系统研究了很多年，但是大规模分布式存储系统是在近几年才流行起来，而且起源于以Google为首的企业界而非学术界。笔者2007年年底加入百度公司，师从阳振坤老师，从事大规模分布式存储的研究和实践工作，曾经开发过类似GFS、MapReduce和Bigtable的分布式系统，后来转战阿里巴巴继续开发分布式数据库OceanBase，维护分布式技术博客NosqlNotes（http://www.nosqlnotes.net）。笔者在业余时间阅读并理解了绝大部分分布式系统原理和各大互联网公司的系统范型相关论文，深知分布式存储系统的复杂性，也能够体会到广大读者渴望弄清楚分布式存储技术本质和实现细节的迫切心情，因而集中精力编写了这本书，希望对从事分布式存储应用的技术人员有所裨益。
　　本书的目标是介绍互联网公司的大规模分布式存储系统，共分为四篇：
　　基础篇。基础知识包含两个部分：单机存储系统以及分布式系统。其中，单机存储系统的理论基础是数据库技术，包括数据模型、事务与并发控制、故障恢复、存储引擎、数据压缩等；分布式系统涉及数据分布、复制、一致性、容错、可扩展性等分布式技术。另外，分布式存储系统工程师还需要一项基础训练，即性能预估，因此，基础篇也会顺带介绍硬件基础知识以及性能预估方法。
　　范型篇。这部分内容将介绍Google、亚马逊、微软、阿里巴巴等各大互联网公司的大规模分布式存储系统，分为四章：分布式文件系统、分布式键值系统、分布式表格系统以及分布式数据库。
　　实践篇。这部分内容将以笔者在阿里巴巴开发的分布式数据库OceanBase为例详细介绍分布式数据库内部实现以及实践过程中的经验总结。
　　专题篇。云存储和大数据是近年来兴起的两大热门领域，其底层都依赖分布式存储技术，这部分将简单介绍这两方面的基础知识。
　　本书适合互联网行业或者其他从事分布式系统实践的工程人员，也适合大学高年级本科生和研究生作为分布式系统或者云计算相关课程的参考书籍。阅读本书之前，建议首先理解分布式系统和数据库相关基础理论，接着阅读第一篇。如果对各个互联网公司的系统架构感兴趣，可以选择阅读第二篇的某些章节；如果对阿里巴巴OceanBase的架构设计和实现感兴趣，可以顺序阅读第三篇。最后，如果对云存储或者大数据感兴趣，可以选择阅读第四篇的某个章节。
　　感谢阳振坤老师多年以来对我在云计算和分布式数据库这两个领域的研究实践工作的指导和鼓励。感谢在百度以及阿里巴巴与我共事多年的兄弟姐妹，我们患难与共，一起实现共同的梦想。感谢机械工业出版社的吴怡编辑、新浪微博的杨卫华先生、百度的侯震宇先生以及支付宝的童家旺先生在本书撰写过程中提出的宝贵意见。
　　由于分布式存储技术涉及一些公司的商业机密，加上笔者水平有限、时间较紧，所以书中难免存在谬误，很多技术点涉及的细节描述得还不够详尽，恳请读者批评指正。可将任何意见和建议发送到我的邮箱knuthocean@163.com，本书相关的勘误和技术细节说明也会发布到我的个人博客NosqlNotes。我的新浪微博账号是“阿里日照”，欢迎读者通过邮件、博客或者微博与我交流分布式存储相关的任何问题。我也将密切跟踪分布式存储技术的发展，吸收您的意见，适时编写本书的升级版本。

杨传辉
2013年7月于北京

计算机\数据库

分布式存储系统是分布式系统中最基础、最复杂的部分，它涉及数据的持久化、一致性和可用性，针对不同的访问需求在架构上有很多不同的取舍。本书作者在分布式存储系统有多年的实践经验，将所见所思所得凝聚成这本书，涵盖很多典型的分布式存储系统，是了解分布式系统的很好读物。
　　　　　　　 --- 章文嵩，阿里巴巴高级研究员，核心系统部负责人，LVS作者
本书的信息量及知识点覆盖非常全面，是了解分布式存储不可多得的书籍，对指导分布式领域开发也具有重要参考作用。
　　　　　　　　 --- 杨卫华，新浪微博首席架构师
分布式存储这个领域面宽水深，无论是分布式理论、存储还是案例，铺开写都是卷帙浩繁。本书一是胜在围绕最具广泛实用价值的基于通用硬件构建大规模分布式存储系统这一核心进行了很好的材料组织选取，二是胜在对OceanBase实现机制的深度剖析。本书作者是OceanBase的核心开发人员，对分布式存储系统身体力行，自然有很多独特的洞见。因此，本书实用性和独特性俱佳，必须一读。
--- 汪源，网易杭州研究院副院长
分布式系统固有的复杂性加上大规模存储系统的工程挑战，让真正理解这个体系变得非常困难。作者在相关领域拥有多年一线开发经验，从实践工作中将相关知识萃取出来呈现给读者，条理性强。因此，我愿意将此书推荐给真正想了解分布式存储系统原理并勇于实践的读者。
--- 余锋，阿里巴巴资深技术专家，花名褚霸，著有知名博客：http://blog.yufeng.info/
作者先后在百度、阿里巴巴等公司长期致力于大规模存储和分布式等技术的研究，对BigTable、Dynamo等业界知名存储系统也有很深的了解，同时在Pyramid、OceanBase等系统的架构、设计和开发上有过大量的实践工作。大规模存储是互联网和云计算产业的基石，而作者的这些技术是能真正应用在工业系统中的。难能可贵的是，作者将这些技术细节和系统能这么有条理地展现出来，无论对大规模存储和分布式领域的初学者还是进阶者，都有巨大的帮助。
--- 赖春波，百度架构师，分布式存储技术负责人

关于分布式系统的知识，可以从大学教科书上找到，许多人还知道Andrew S. Tanenbaum 等人在2002年出版的“分布式系统原理与范型”(Distributed Systems: Principles and Paradigms)这本书。其实分布式系统的理论出现于上个世纪70年代，“Symposium on Principles of Distributed Computing (PODC)”和“International Symposium on Distributed Computing (DISC)”这两个分布式领域的学术会议分别创立于1982年和1985年。然而，分布式系统的广泛应用却是最近十多年的事情，其中的一个原因就是人类活动创造出的数据量远远超出了单个计算机的存储和处理能力。比如，2008年全球互联网的网页超过了1万亿，按平均单个网页10KB计算，就是10PB；又如，一个2亿用户的电信运营商，如果平均每个用户每天拨打接听总共10个电话，每个电话400字节，5年的话费记录总量即为0.2G×10×0.4K×365×5=1.46PB。除了分布式系统，人们还很难有其他高效的手段来存储和处理这些PB级甚至更多的数据。另外一个原因，其实是一个可悲的事实，那就是分布式环境下的编程十分困难。
　　与单机环境下的编程相比，分布式环境下的编程有两个明显的不同?：首先，分布式环境下会出现一部分计算机工作正常，另一部分计算机工作不正常的情况，程序需要在这种情况下尽可能地正常工作，这个挑战非常大。其次，单机环境下的函数调用常常可以在微秒级内返回，所以除了少数访问外部设备（例如磁盘、网卡等）的函数采用异步方式调用外，大部分函数采用同步调用的方式，编译器和操作系统在调用前后自动保存与恢复程序的上下文；在分布式环境下，计算机之间的函数调用（远程调用，即RPC）的返回时间通常是毫秒或亚毫秒（0.1~1.0毫秒）级，差不多是单机环境的100倍，使用同步方式远远不能发挥现代CPU处理器的性能，所以分布式环境下的RPC通常采用异步调用方式，程序需要自己保存和恢复调用前后的上下文，并需要处理更多的异常。
　　基于上述原因，很多从事分布式系统相关的开发、测试、维护的朋友十分渴望了解和学习其他分布式系统的实践，可是，这些信息分散在浩瀚的知识海洋中，获取感兴趣的内容相当困难。因此，传辉的“大规模分布式存储系统”一书出现得恰如其时，这是我见过的讲解分布式系统实践最全面的一本书。它不仅介绍了当前业界最常见的分布式系统，还结合了作者自己六年多来的分布式系统开发实践。虽然这本书没有、也不可能包含分布式系统实践的所有内容，但阅读这本书的人一定会深受启发，并且还能够知道去何处获取更深层次的信息和知识。

阳振坤
阿里巴巴高级研究员，基础数据部负责人

杨传辉 编著：暂无简介

前言
第1章　概述 /1
1.1　分布式存储概念 /1
1.2　分布式存储分类 /2
第一篇　基础篇
第2章　单机存储系统 /6
2.1　硬件基础 /6
2.1.1　CPU架构 /6
2.1.2　IO总线 /7
2.1.3　网络拓扑 /9
2.1.4　性能参数 /10
2.1.5　存储层次架构 /11
2.2　单机存储引擎 /12
2.2.1　哈希存储引擎 /12
2.2.2　B树存储引擎 /14
2.2.3　LSM树存储引擎 /15
2.3　数据模型 /17
2.3.1　文件模型 /17
2.3.2　关系模型 /18
2.3.3　键值模型 /19
2.3.4　SQL与NoSQL　/20
2.4　事务与并发控制 /21
2.4.1　事务 /21
2.4.2　并发控制 /23
2.5　故障恢复 /26
2.5.1　操作日志 /26
2.5.2　重做日志 /27
2.5.3　优化手段 /27
2.6　数据压缩 /29
2.6.1　压缩算法 /29
2.6.2　列式存储 /33
第3章　分布式系统 /36
3.1　基本概念 /36
3.1.1　异常 /36
3.1.2　一致性 /38
3.1.3　衡量指标 /39
3.2　性能分析 /40
3.3　数据分布 /42
3.3.1　哈希分布 /43
3.3.2　顺序分布 /45
3.3.3　负载均衡 /46
3.4　复制 /47
3.4.1　复制的概述 /47
3.4.2　一致性与可用性 /49
3.5　容错 /50
3.5.1　常见故障 /50
3.5.2　故障检测 /51
3.5.3　故障恢复 /52
3.6　可扩展性 /53
3.6.1　总控节点 /54
3.6.2　数据库扩容 /54
3.6.3　异构系统 /56
3.7　分布式协议 /57
3.7.1　两阶段提交协议 /57
3.7.2　Paxos协议 /59
3.7.3　Paxos与2PC /60
3.8　跨机房部署 /60
第二篇　范型篇
第4章　分布式文件系统 /66
4.1　Google文件系统 /66
4.1.1　系统架构 /66
4.1.2　关键问题 /67
4.1.3　Master设计 /72
4.1.4　ChunkServer设计 /74
4.1.5　讨论 /74
4.2　Taobao File System /75
4.2.1　系统架构 /75
4.2.2　讨论 /78
4.3　Facebook Haystack /78
4.3.1　系统架构 /79
4.3.2　讨论 /82
4.4　内容分发网络 /83
4.4.1　CDN架构 /83
4.4.2　讨论 /85
第5章　分布式键值系统 /86
5.1　Amazon Dynamo /86
5.1.1　数据分布 /86
5.1.2　一致性与复制 /88
5.1.3　容错 /89
5.1.4　负载均衡 /90
5.1.5　读写流程 /91
5.1.6　单机实现 /92
5.1.7　讨论 /93
5.2　淘宝Tair /93
5.2.1　系统架构 /93
5.2.2　关键问题 /94
5.2.3　讨论 /96
第6章　分布式表格系统 /97
6.1　Google Bigtable /97
6.1.1　架构 /98
6.1.2　数据分布 /100
6.1.3　复制与一致性 /101
6.1.4　容错 /101
6.1.5　负载均衡 /102
6.1.6　分裂与合并 /102
6.1.7　单机存储 /103
6.1.8　垃圾回收 /104
6.1.9　讨论 /105
6.2　Google Megastore /105
6.2.1　系统架构 /107
6.2.2　实体组 /108
6.2.3　并发控制 /109
6.2.4　复制 /110
6.2.5　索引 /111
6.2.6　协调者 /111
6.2.7　读取流程 /112
6.2.8　写入流程 /113
6.2.9　讨论 /115
6.3　Windows Azure Storage /115
6.3.1　整体架构 /115
6.3.2　文件流层 /117
6.3.3　分区层 /121
6.3.4　讨论 /125
第7章　分布式数据库 /126
7.1　数据库中间层 /126
7.1.1　架构 /126
7.1.2　扩容 /128
7.1.3　讨论 /128
7.2　Microsoft SQL Azure /129
7.2.1　数据模型 /129
7.2.2　架构 /131
7.2.3　复制与一致性 /132
7.2.4　容错 /132
7.2.5　负载均衡 /133
7.2.6　多租户 /133
7.2.7　讨论 /134
7.3　Google Spanner /134
7.3.1　数据模型 /134
7.3.2　架构 /135
7.3.3　复制与一致性 /136
7.3.4　TrueTime /137
7.3.5　并发控制 /138
7.3.6　数据迁移 /139
7.3.7　讨论 /139
第三篇　实践篇
第8章　OceanBase架构初探 /142
8.1　背景简介 /142
8.2　设计思路 /143
8.3　系统架构 /144
8.3.1　整体架构图 /144
8.3.2　客户端 /145
8.3.3　RootServer /147
8.3.4　MergeServer /148
8.3.5　ChunkServer /149
8.3.6　UpdateServer /149
8.3.7　定期合并&数据分发 /150
8.4　架构剖析 /151
8.4.1　一致性选择 /151
8.4.2　数据结构 /152
8.4.3　可靠性与可用性 /154
8.4.4　读写事务 /154
8.4.5　单点性能 /155
8.4.6　SSD支持 /156
8.4.7　数据正确性 /157
8.4.8　分层结构 /158
第9章　分布式存储引擎　/159
9.1　公共模块 /159
9.1.1　内存管理 /159
9.1.2　基础数据结构 /161
9.1.3　锁 /164
9.1.4　任务队列 /165
9.1.5　网络框架 /166
9.1.6　压缩与解压缩 /167
9.2　RootServer实现机制 /168
9.2.1　数据结构 /168
9.2.2　子表复制与负载均衡 /170
9.2.3　子表分裂与合并 /171
9.2.4　UpdateServer选主 /172
9.2.5　RootServer主备 /173
9.3　UpdateServer实现机制 /174
9.3.1　存储引擎 /174
9.3.2　任务模型 /179
9.3.3　主备同步 /181
9.4　ChunkServer实现机制 /183
9.4.1　子表管理 /183
9.4.2　SSTable /184
9.4.3　缓存实现 /188
9.4.4　IO实现 /190
9.4.5　定期合并&数据分发 /191
9.4.6　定期合并限速 /192
9.5　消除更新瓶颈 /193
9.5.1　读写优化回顾 /193
9.5.2　数据旁路导入 /195
9.5.3　数据分区 /195
第10章　数据库功能 /197
10.1　整体结构 /197
10.2　只读事务 /199
10.2.1　物理操作符接口 /201
10.2.2　单表操作 /202
10.2.3　多表操作 /203
10.2.4　SQL执行本地化 /205
10.3　写事务 /206
10.3.1　写事务执行流程 /206
10.3.2　多版本并发控制 /208
10.4　OLAP业务支持 /212
10.4.1　并发查询 /212
10.4.2　列式存储 /214
10.5　特色功能 /215
10.5.1　大表左连接 /215
10.5.2　数据过期与批量删除 /216
第11章　质量保证、运维及实践 /218
11.1　质量保证 /218
11.1.1　RD开发 /219
11.1.2　QA测试 /222
11.1.3　试运行 /224
11.2　使用与运维 /225
11.2.1　使用 /225
11.2.2　运维 /227
11.3　应用 /228
11.3.1　收藏夹 /229
11.3.2　天猫评价 /230
11.3.3　直通车报表 /231
11.4　最佳实践 /232
11.4.1　系统发展路径 /232
11.4.2　人员成长 /234
11.4.3　系统设计 /236
11.4.4　系统实现 /237
11.4.5　使用与运维　/238
11.4.6　工程现象 /239
11.4.7　经验法则 /240
第四篇　专题篇
第12章　云存储 /242
12.1　云存储的概念 /242
12.2　云存储的产品形态 /245
12.3　云存储技术 /247
12.4　云存储的核心优势 /249
12.5　云平台整体架构 /251
12.5.1　Amazon云平台 /252
12.5.2　Google云平台 /253
12.5.3　Microsoft云平台 /255
12.5.4　云平台架构 /258
12.6　云存储技术体系 /261
12.7　云存储安全 /263
第13章　大数据 /267
13.1　大数据的概念 /267
13.2　MapReduce /269
13.3　MapReduce扩展 /270
13.3.1　Google Tenzing /271
13.3.2　Microsoft Dryad /274
13.3.3　Google Pregel /275
13.4　流式计算 /276
13.4.1　原理 /276
13.4.2　Yahoo S4 /278
13.4.3　Twitter Storm /279
13.5　实时分析 /281
13.5.1　MPP架构 /281
13.5.2　EMC Greenplum /282
13.5.3　HP Vertica /285
13.5.4　Google Dremel /286
参考资料 /288