随着大数据、云计算、物联网的兴起与蓬勃发展，使海量数据的增长加速，全球数据总量急剧膨胀。据统计，到2020年，全球的数据总量将达到35ZB,每年的复合增长率将达到26%。这对数据存储技术提出了严峻的挑战。
本书在介绍大数据背景以及物联网环境中数据基本特征的基础上，将详细介绍海量数据存储的相关知识，内容包括数据存储基本原理、磁盘阵列（RAID）技术、网络存储技术、分布式文件系统与海量存储系统、海量存储系统的构建方法、存储优化技术、数据备份、非易失性存储芯片及固态盘（SSD）技术，以及新型存储芯片技术以及未来存储技术发展方向。
本书内容全面，叙述力求清晰、简洁，每章后列有推荐进一步阅读的文献，可以扩展读者的知识面，以从事更深入的研究和开发工作。
大数据和物联网时代，不断产生的海量数据像滚滚洪流涌向数据中心，数据存储正面临严峻挑战。本书将帮助你应对这一挑战，从数据存储的基本原理到维护和管理方法，从数据存储的发展历史到最新技术进展，均有清晰且简洁的阐释。本书配有思考题，并提供扩展阅读资源，旨在让读者开阔视野，探索更加优越的存储新技术。
通过阅读本书，你将了解：
数据是什么？数据和信息有何区别？
数据如何存储？存储器如何工作？
RAID的基本概念、级别和发展历史。
DAS、NAS、SAN、iSCSI和云存储的工作原理。
海量存储体系结构如何适应存储器的变化？
存储管理如何走向自动化？
数据如何备份和恢复？重复数据如何删除？
物联网中的数据有何特征？如何管理和存储？
古老的磁盘还充满生机吗？新型非易失存储芯片的进展如何？
FRAM、RRAM、PRAM、STT-MRAM的原理、现状和前景如何？
前
伴随大数据、云存储、物联网等技术的蓬勃发展而产生的海量数据对数据存储技术提出了严峻的挑战。本书在介绍大数据背景以及物联网环境中数据基本特征的基础上，详细介绍了海量数据存储的相关知识，内容包括：数据存储基本原理、容错磁盘阵列（RAID）技术、网络存储技术、分布式文件系统、海量存储系统、存储优化技术、存储技术在物联网中的应用，以及新型存储芯片技术和未来存储的技术发展方向。
后
方粮
博士，国防科学技术大学计算机学院研究员。长期从事大规模数据存储技术的研究，曾参与超级计算机存储系统研制和集成电路设计工作，获国家科技进步一等奖一项、二等奖一项，部委级科技进步一、二、三等奖多项。2006~2015年任中国计算机学会信息存储技术专业委员会主任委员、中国计算机学会理事。目前主要从事新型存储器件与系统的研究。
在物联网技术不断发展、应用迅速推广的时代，以无线传感网为代表的数据源不断生产海量数据，像滚滚洪流涌向数据中心，数据存储正面临严峻挑战。大数据时代，各行各业的数据量急剧增加，在分析处理过程中需要进行暂时或长久的数据存储，传统的数据存储技术在容量、速度、功耗、可靠性等方面均难以胜任。为应对挑战，亟待普及与数据存储相关的基础知识，提高数据存储应用和管理的水平，也需要深入研究数据存储的体系结构、管理与优化等提高存储效率的相关技术，同时需要探索基于全新原理的、性能更加优越的存储新技术。本书旨在普及数据存储知识，开阔视野，以应对当前和未来面临的存储挑战。
技术发展的推动和应用需求的牵引使得数据存储技术日新月异。本书内容力求覆盖存储技术的各个方面，从数据存储基本原理到存储系统的维护和管理，从数据存储发展历史到最新技术进展。通过学习本书，你可以掌握或了解：
数据是什么？数据和信息有什么区别？
数据如何存储？存储器是怎样工作的？存储设备是如何发展的？
RAID的基本概念、级别和发展。
网络存储的发展，DAS、NAS、SAN、iSCSI、云存储的工作原理。
海量存储的体系结构和管理方法，体系结构如何适应存储器的变化？
存储管理如何走向自动化？虚拟存储和软件定义存储有何区别？
数据的备份与恢复，以及重复数据的删除。
物联网中的数据有何特征？如何有效管理？如何可靠存储？
古老的磁盘还充满生机吗？新型的非易失存储芯片进展如何？FRAM、RRAM、PRAM、STT-MRAM的原理、现状、前景如何？
感谢上海交通大学傅育熙教授、西安交通大学桂小林教授、武汉大学黄传河教授、上海交通大学蒋建伟教授、华中科技大学秦磊华教授、上海交通大学王东教授、南开大学吴功宜教授、四川大学朱敏教授，在与他们的交流中，我学到了很多知识，开阔了视野，受益匪浅。特别感谢机械工业出版社华章分社温莉芳副总经理的指导和关心，本书是在温老师的鼓励下完成的。特别感谢机械工业出版社华章分社教材部朱劼编辑，感谢她不断的鼓励和极大的耐心及宽容。特别感谢负责本书的佘洁编辑和曲熠编辑，她们极其认真、细致的审阅和极具专业水平的修改建议使本书增色许多。
海量数据存储技术的研究与应用需要多学科综合考虑，涉及材料、物理、计算机科学与技术、可靠性工程、系统科学、管理科学等，因此，存储器件与部件的研究、存储系统的方案设计、软硬件安装调试、日常应用和维护管理等工程都极具挑战性。海量数据存储的堡垒，有待我们探索和攻克!
方 粮
计算机\物联网
大数据和物联网时代，不断产生的海量数据像滚滚洪流涌向数据中心，数据存储正面临严峻的挑战。本书将帮助你应对这一挑战，从数据存储的基本原理到维护和管理方法，从数据存储的发展历史到最新技术进展，均在书中给出清晰且简洁的阐释。本书配有思考题，并提供扩展阅读资源，旨在让读者开阔视野，探索更加优越的存储新技术。
通过阅读本书，你将了解：
?数据是什么？数据和信息有何区别？
?数据如何存储？存储器如何工作？
?RAID的基本概念、级别和发展历史。
?DAS、NAS、SAN、iSCSI和云存储的工作原理。
?海量存储体系结构如何适应存储器的变化？
?存储管理如何走向自动化？
?数据如何备份和恢复？重复数据如何删除？
?物联网中的数据有何特征？如何管理和存储？
?古老的磁盘还充满生机吗？新型非易失存储芯片的进展如何？
?FRAM、RRAM、PRAM、STT-MRAM的原理、现状和前景如何？
方粮 编著：方粮，国防科技大学计算机学院教授，研究方向为计算机体系结构和信息存储系统，目前主要从事新型信息存储器件的研发，任863信息存储重大专项专家组成员。曾获全军院校育才奖银奖，省部级科技成果一等奖4项、二等奖1项，银河超级计算机系统国家科技进步一等奖以及军用微处理器国家科技进步二等奖。
前言
教学建议
第1章 海量数据存储的基本概念 /1
1.1 数据与数据存储 /1
1.1.1 数据的基本概念 /1
1.1.2 数据存储的基本概念 /3
1.2 物联网与大数据时代面临的机遇和挑战 /4
1.3 海量数据与海量数据存储 /5
1.3.1 海量数据的基本概念 /5
1.3.2 海量数据的存储 /6
1.4 本章小结与扩展阅读 /7
思考题 /7
参考文献 /7
第2章 数据存储的基本原理 /8
2.1 数据存储的实现 /8
2.1.1 存储介质的不同状态 /8
2.1.2 存储介质的状态感知 /10
2.1.3 存储介质的状态转换 /11
2.2 数据的写入与读出技术 /11
2.3 数据存储设备的发展历史与分类 /12
2.3.1 数据存储设备的发展历史 /12
2.3.2 数据存储设备的分类 /17
2.4 磁盘存储器 /18
2.4.1 磁盘存储器的基本结构 /18
2.4.2 磁盘存储器的工作原理 /19
2.4.3 磁盘存储器的性能指标 /20
2.4.4 磁盘存储器的发展趋势 /21
2.5 光盘存储器 /21
2.5.1 光盘存储器的发展过程 /22
2.5.2 光盘存储器的基本原理 /24
2.5.3 光盘存储器的发展趋势 /28
2.6 数据存储系统 /30
2.6.1 数据存储系统的基本概念 /30
2.6.2 Cache的工作原理与替换策略 /30
2.6.3 虚拟存储器 /36
2.7 存储系统实验 /37
2.7.1 实验一：虚拟磁盘（RamDisk） /37
2.7.2 实验二：文件系统与目录结构 /38
2.8 本章小结与扩展阅读 /40
思考题 /40
参考文献 /40
第3章 容错磁盘阵列（RAID）的技术和应用 /42
3.1 RAID的工作原理 /42
3.1.1 磁盘阵列的基本概念 /42
3.1.2 磁盘阵列的特性 /44
3.1.3 磁盘阵列的若干专用术语 /45
3.2 RAID的分级与结构 /46
3.2.1 RAID0 /46
3.2.2 RAID1 /47
3.2.3 RAID2 /48
3.2.4 RAID3 /48
3.2.5 RAID4 /49
3.2.6 RAID5 /49
3.2.7 RAID6 /50
3.2.8 RAID7 /50
3.2.9 RAID0 + 1 /51
3.2.10 Matrix RAID /51
3.2.11 JBOD和NRAID /52
3.2.12 NV RAID /54
3.3 RAID的实现技术 /54
3.3.1 概述 /54
3.3.2 软件RAID的实现技术 /55
3.3.3 硬件RAID的实现技术 /62
3.4 RAID的性能指标与选购要点 /69
3.4.1 RAID的性能指标 /69
3.4.2 影响RAID性能的因素 /70
3.4.3 磁盘阵列控制器模式对比 /71
3.4.4 RAID的选购要点 /71
3.5 本章小结与扩展阅读 /73
思考题 /73
参考文献 /74
第4章 网络存储技术 /75
4.1 概述 /75
4.1.1 网络存储的分类 /75
4.1.2 网络存储的发展趋势 /76
4.2 DAS /77
4.3 NAS /80
4.3.1 NAS的主要特点 /80
4.3.2 NAS的基本结构 /81
4.3.3 NAS的工作原理 /81
4.3.4 NAS的应用 /83
4.3.5 NAS与DAS的比较 /86
4.3.6 NAS的选购要点 /88
4.4 SAN /90
4.4.1 SAN技术的产生 /90
4.4.2 SAN的结构与工作原理 /92
4.4.3 SAN的应用 /95
4.4.4 NAS与SAN的比较 /101
4.4.5 融合NAS的SAN的发展趋势 /102
4.5 iSCSI /104
4.5.1 iSCSI简介 /104
4.5.2 iSCSI协议及实现 /105
4.5.3 iSCSI的性能 /108
4.5.4 iSCSI的安全性问题 /109
4.5.5 iSCSI的可用性问题 /109
4.5.6 基于iSCSI的存储系统 /111
4.5.7 iSCSI的应用 /112
4.5.8 iSCSI磁盘阵列产品选购要点 /113
4.5.9 iSCSI的发展趋势 /114
4.6 云存储技术 /115
4.6.1 概述 /116
4.6.2 云存储的模型与应用 /117
4.6.3 云存储的分类和管理工具 /121
4.6.4 基于云存储技术实现在线备份的安全 /124
4.6.5 基于云的灾难恢复功能 /126
4.7 本章小结与扩展阅读 /127
思考题 /127
参考文献 /127
第5章 海量存储系统的体系结构与管理 /128
5.1 海量存储系统的体系结构 /128
5.1.1 多级存储层次的基本概念 /128
5.1.2 多级存储层次的性能分析 /130
5.2 分布式文件系统 /131
5.2.1 分布式文件系统的基本概念 /131
5.2.2 分布式文件系统的关键技术 /135
5.2.3 Ceph：一个Linux PB级分布式文件系统 /136
5.3 Hadoop及数据分布式管理 /138
5.3.1 Hadoop的基本概念 /138
5.3.2 Hadoop的实现 /139
5.3.3 Hadoop的应用 /140
5.4 海量传感数据管理系统的设计 /141
5.4.1 海量传感数据管理系统的设计要求 /141
5.4.2 海量传感数据管理系统的总体结构 /142
5.4.3 HBase数据库设计 /142
5.4.4 传感数据存储管理功能 /142
5.4.5 传感数据查看功能 /143
5.5 适应新型存储介质的存储体系结构 /143
5.5.1 存储体系结构的变化 /143
5.5.2 面向新型存储介质的存储体系结构 /146
5.6 本章小结与扩展阅读 /147
思考题 /148
参考文献 /148
第6章 存储管理自动化与优化技术 /149
6.1 存储管理的自动化与标准化 /149
6.1.1 为什么需要存储管理自动化 /149
6.1.2 哪些存储管理工作可以自动化 /150
6.1.3 存储管理自动化的实现 /151
6.1.4 存储管理的标准化 /152
6.1.5 SMI-S的主要技术特性及应用 /153
6.2 虚拟存储技术 /155
6.2.1 虚拟存储的特点 /155
6.2.2 存储虚拟化的关键技术 /156
6.2.3 虚拟存储的实现模式 /156
6.2.4 存储虚拟化的应对措施 /158
6.3 软件定义存储 /159
6.3.1 软件定义存储的基本概念 /159
6.3.2 软件定义存储的体系结构 /160
6.3.3 软件定义存储的理念对存储体系设计的影响 /161
6.3.4 软件定义存储实施过程需要考虑的问题 /162
6.3.5 软件定义存储的发展趋势 /163
6.4 数据备份与恢复 /163
6.4.1 数据备份与恢复的必要性 /163
6.4.2 数据备份与恢复的基本概念 /164
6.4.3 容灾与灾难恢复 /166
6.4.4 连续数据保护技术 /168
6.4.5 个人备份工具CrashPlan /172
6.5 重复数据删除 /176
6.5.1 重复数据删除的基本概念 /176
6.5.2 重复数据删除的基本方法 /177
6.5.3 重复数据删除的关键技术 /178
6.5.4 源端重复数据删除的利与弊 /179
6.5.5 重复数据删除解决方案实例 /180
6.6 本章小结与扩展阅读 /181
思考题 /182
参考文献 /182
第7章 存储技术在物联网中的应用 /183
7.1 物联网数据的特征与存储需求 /183
7.1.1 物联网数据的特征 /184
7.1.2 物联网数据的存储需求 /185
7.1.3 物联网数据存储系统的评价指标 /185
7.2 物联网数据存储模式及实现技术 /186
7.2.1 物联网数据存储模式分类 /186
7.2.2 物联网典型的存储实现技术 /186
7.2.3 物联网存储模式的比较分析 /189
7.2.4 物联网数据存储技术的发展趋势 /190
7.3 物联网数据存储的高效解决方案 /190
7.3.1 物联网数据存储面临的挑战 /191
7.3.2 物联网数据存储的研究基础 /191
7.3.3 物联网数据存储的体系结构 /192
7.3.4 物联网数据存储的实现方法 /193
7.3.5 实例研究和讨论 /196
7.4 物联网数据中心设计的关键技术 /198
7.4.1 物联网数据中心面临的挑战 /199
7.4.2 物联网数据中心的总体结构 /200
7.4.3 物联网数据中心的应用 /203
7.5 TinyOS中的数据存储 /205
7.5.1 TinyOS简介 /205
7.5.2 卷 /206
7.5.3 存储配置数据 /206
7.5.4 存储日志数据 /210
7.5.5 存储大数据块 /212
7.6 无线传感器网络中的容错数据存储技术 /212
7.6.1 概述 /213
7.6.2 WSN容错存储的相关研究进展 /213
7.6.3 设计WSN容错存储方案应考虑的因素 /214
7.6.4 备份与恢复机制 /216
7.6.5 性能评价 /218
7.7 本章小结与扩展阅读 /220
思考题 /221
参考文献 /221
第8章 新型存储技术及发展趋势 /222
8.1 存储介质 /222
8.1.1 磁存储介质 /222
8.1.2 光存储介质 /227
8.1.3 半导体存储器 /229
8.1.4 DNA存储 /230
8.1.5 基于纳米颗粒的存储技术 /232
8.2 固态硬盘技术 /232
8.2.1 固态硬盘的结构与性能优化 /233
8.2.2 闪存感知的RAID技术 /237
8.2.3 基于PCIe接口的闪存阵列 /245
8.3 铁电存储器 /249
8.4 相变存储器 /250
8.5 阻变存储器 /251
8.6 自旋转移矩磁存储器 /254
8.7 本章小结与扩展阅读 /257
思考题 /258
参考文献 /258
