固态存储
原理、架构与数据安全
夏鲁宁 贾世杰 陈波 ◎著
Solid state storage
Principle,architecture and data security
固态存储突破现有存储性能瓶颈
本书详解固态存储的原理及架构设计，重点阐述数据存储的安全技术、存储
数据机密性保护
︱作者简介︳
夏鲁宁
2008年毕业于中国科学院大学（原中国科学院研究生院），获信息安全专业工学博士学位。现就职于中国科学院信息工程研究所，担任高级工程师。研究领域为密码工程、网络与系统安全、嵌入式系统安全。研究兴趣包括: 密码应用技术、固态存储安全技术等。
贾世杰
2017年在中国科学院大学信息安全专业获得工学博士学位。现就职于中国科学院信息工程研究所, 担任助理研究员。研究领域为网络与系统安全、嵌入式系统安全。研究兴趣包括: 固态存储安全、云计算、恶意软件分析等。
陈波
2014年在美国新泽西理工学院（NJIT）获得博士学位。曾在纽约州立大学石溪分校和宾州州立大学从事博士后研究工作。现就职于美国密歇根理工大学（MTU），担任助理教授。研究领域为网络与信息系统安全。研究兴趣包括：云计算、移动设备、闪存等的安全和隐私。
本书重点讲解：
● 存储技术基础
● 文件系统
● 接口与协议
● 固态存储架构
● 固态存储文件系统
● 容错与写平衡
● 数据安全删除
● 存储数据机密性保护
● NAND Flash 物理不可克隆技术
● 固态存储展望
不同于磁带、机械硬盘、光盘等依托机械运动实现读写的存储技术，固态存储器（solid-state memory，简称固态存储）完全基于半导体技术，通过改变芯片内部固态存储介质的状态（比如电荷、相变、极化和电阻等）来存储数据。在传统磁盘存储系统性能停滞不前的情况下，固态存储以崭新的视角，经过多年的研究和发展，为存储领域带来了一场革命性变革，成为突破现有存储性能瓶颈的希望。然而，随着固态存储的应用和普及，数据存储安全性、机密性、可靠性等问题逐渐凸显。如何解决固态存储架构中存在的安全问题将是本书中的浓墨重彩之处。
全书共11章，可分为三部分：第一部分包括第1~3章，介绍存储技术的基础知识。第1章简要回顾了存储技术的发展历史，介绍了当前主流存储介质的工作原理和特点，随后对磁盘阵列、网络化存储和大数据时代下的新兴存储技术进行了介绍，最后简介了存储系统的逻辑构成。第2章对当前主要文件系统，如FAT、EXT、NTFS、CDFS，从基本概念、存储结构、存储特点等方面作了详细的阐述并进行了对比，随后对其他一些文件系统，如BtrFS、ZFS、HFS等进行了简单介绍。第3 章讲述存储系统的接口与协议，简单阐述了接口与协议的基本概念，详细介绍了计算机系统中常用的存储器物理协议和接口，并对各个接口和协议的发展、特点以及原理进行了详细的分析。
第二部分包括第4~7章，介绍了固态存储的原理与架构。第4章对固态存储技术进行了概述，详细介绍了基于NAND Flash 和NOR Flash 的固态存储原理。第5章以日常工作、生活中广泛使用的固态硬盘（SSD）为例给出了固态存储架构，并详细介绍了固态存储系统各大基本部件的结构、功能和原理。第6章主要针对固态存储设备中广泛使用的嵌入式文件系统，如JFFS、YAFFS、UBIFS以及exFAT等文件系统，从内存结构、文件系统挂载、运行原理、垃圾回收等方面，详细介绍固态存储文件系统的原理和运行机制。第7章主要对固态存储设备中的容错与平衡技术进行了介绍，首先介绍了三种纠错码即汉明码、BCH码以及里德-所罗门码的操作原理，接着介绍了固态存储的平衡机制，分别从垃圾回收和使用均衡两个方面介绍其作用和实现原理，最后介绍了固态存储器件的坏块管理与实现。
第三部分包括第8~11章，介绍了固态存储安全技术及对前沿科技的展望。第8章详细介绍了为提高固态存储设备的数据安全，学术界提出的各种技术方案。第9章首先讨论固态存储设备中数据加密的主要算法XTS-AES，随后简单介绍了近年来学术界提出的多种可否认加密与可否认认证协议方案，然后根据面向系统平台的不同，着重介绍可否认加密技术在数据存储方面，尤其是固态存储设备上的各种应用方案。第10章介绍了为保护存储设备数据安全，学术界提出的基于NAND Flash物理特性，提取设备指纹、随机数、密钥等信息及其应用实例。第11章对存储技术的发展作了展望。
前3章内容较为基础，第4~7章为固态存储相关基础知识，第8~10章则为固态存储领域以及作者自身团队与安全相关的研究成果，内容较新，最后一章为展望，读者可根据自己的兴趣和时间情况选择阅读。
固态存储发展极为迅速，目前已成为一个新兴热点领域。云计算、物联网、大数据时代的到来，为存储技术的创新带来了新的机遇和挑战。随着新型固态存储介质的日渐成熟，延时越来越低，带宽越来越高，以动态随机存储器为代表的易失型存储设备在主存中的垄断地位将可能被非易失型固态存储设备所取代。而不断增大的容量和不断降低的价格，使固态存储技术越来越适合于构建高性能的外部存储设备。以磁盘为代表的机械驱动外部存储设备的主流地位将逐步被固态存储设备取代，使得存储系统的访问模式可能转为利用电子设备的电气特性而非机械转动。总之，固态存储已成为数据存储发展的必然趋势，其安全性、机密性、可靠性等值得关注。
本书的研究工作得到国家重点基础研究发展计划（973计划）2013CB338001课题的支持。在本书的编写和出版过程中，得到了机械工业出版社的大力支持，在此谨表诚挚的谢意。
由于作者水平有限，加之固态存储技术发展迅速，书中不妥和错误之处在所难免，诚恳地希望专家和读者提出宝贵意见，以帮助本书改进和完善。
计算机\网络
夏鲁宁 贾世杰 陈波 著：李华君定
前言
第一部分 存储技术基础
第1章 存储技术概要 3
1.1存储技术发展简史 3
1.2存储介质 5
1.2.1磁介质 5
1.2.2光介质 8
1.2.3半导体存储器 11
1.3磁盘阵列 12
1.4网络化存储 14
1.4.1网络存储架构 15
1.4.2分布式存储 21
1.5大数据时代下的新兴存储技术 23
1.6存储系统的逻辑构成 24
1.6.1主机系统 24
1.6.2互连方式 25
1.6.3存储器层次结构 27
本章参考文献 28
第2章 文件系统 29
2.1FAT 29
2.1.1FAT的发展概况 30
2.1.2FAT的重要概念 30
2.1.3FAT 32的原理 32
2.1.4FAT的优缺点 38
2.2EXT 38
2.2.1EXT的发展概况 38
2.2.2树形目录结构 39
2.2.3EXT的磁盘布局 40
2.2.4数据块寻址方法 43
2.2.5日志系统 44
2.2.6EXT4引入的新特性 45
2.3NTFS 46
2.3.1NTFS的重要概念 47
2.3.2NTFS的元文件和总体布局 48
2.3.3NTFS的引导扇区 50
2.3.4NTFS的文件存储特性 51
2.4CDFS 52
2.4.1逻辑存储结构 53
2.4.2CD-ROM上数据的定位 58
2.4.3CDFS的改进 60
2.5其他文件系统 62
2.5.1BtrFS 62
2.5.2ZFS 62
2.5.3HFS 64
2.5.4HFS+ 65
2.5.5ReiserFS 65
2.5.6JFS 66
2.5.7XFS 67
2.5.8UFS 67
2.5.9VMFS 69
2.5.10VxFS 70
2.5.11ReFS 70
2.6常用文件系统的对比分析 71
本章参考文献 73
第3章 接口与协议 74
3.1IDE 76
3.1.17种ATA物理接口规范 76
3.1.2IDE数据传输模式 78
3.2SCSI 79
3.2.1SCSI电气特征 79
3.2.2SCSI接口协议 79
3.2.3SCSI接口的发展 80
3.2.4SCSI与IDE的比较 81
3.3SATA 82
3.3.1SATA接口的组成 83
3.3.2SATA协议介绍 83
3.3.3SATA兼容性 84
3.3.4SATA的优点和不足 85
3.4其他接口 86
3.4.1PCI-E 86
3.4.2FC 87
3.4.3SAS 88
本章参考文献 89
第二部分 固态存储的原理与架构
第4章 固态存储基本知识和工作原理 93
4.1基本知识 93
4.1.1半导体存储器概述 94
4.1.2固态存储器的分类 96
4.1.3固态存储器的特点 97
4.2Flash存储介质工作原理 98
4.2.1NOR Flash 99
4.2.2NAND Flash 104
4.2.3NAND Flash 阵列 113
本章参考文献 119
第5章 固态存储架构 120
5.1概述 120
5.2主机接口 122
5.3主控芯片 142
5.4缓存 150
5.5闪存接口 151
本章参考文献 153
第6章 固态存储文件系统 154
6.1概述 154
6.2JFFS2 156
6.2.1主要节点 156
6.2.2挂载过程 159
6.2.3写文件过程 160
6.2.4读文件过程 160
6.2.5垃圾回收机制 161
6.3YAFFS 162
6.3.1基本概念 162
6.3.2内存结构 165
6.3.3扫描挂载 170
6.3.4垃圾回收 172
6.3.5使用均衡 173
6.4UBIFS 174
6.4.1UBI 174
6.4.2UBIFS分析 178
6.5exFAT 181
6.5.1exFAT分区布局 182
6.5.2目录项 185
本章参考文献 189
第7章 容错与写平衡 190
7.1错误校验码 191
7.1.1概述 191
7.1.2汉明码 192
7.1.3BCH码 197
7.1.4里德-所罗门码 202
7.2平衡机制 209
7.2.1概述 209
7.2.2垃圾回收 210
7.2.3使用均衡 212
7.3坏块管理 215
7.3.1概述 215
7.3.2坏块管理的实现 216
本章参考文献 218
第三部分 固态存储安全技术
第8章 数据安全删除 221
8.1基于NAND Flash的存储设备访问层次模型 221
8.2控制器层方案 224
8.2.1Scrubbing方案 224
8.2.2基于修改典型FTL机制的数据安全删除方案 229
8.2.3NFPS：不可检测的数据安全删除方案 230
8.2.4TedFlash：完备数据安全删除方案 248
8.3文件系统层方案 254
8.3.1基于YAFFS的方案 254
8.3.2基于UBIFS的方案 259
8.4应用层方案 262
8.5跨层方案 263
本章参考文献 264
第9章 存储数据机密性保护 267
9.1XTS-AES 268
9.1.1概述 268
9.1.2单个128位数据块的XTS-AES加密 269
9.1.3数据单元的XTS-AES加密 271
9.1.4XTS-AES的工作模式 273
9.2可否认加密 273
9.2.1可否认加密与认证协议简介 274
9.2.2面向桌面系统的可否认加密方案 276
9.2.3面向移动系统的可否认加密方案 279
9.2.4面向NAND Flash的可否认加密方案 284
本章参考文献 290
第10章 NAND Flash物理不可克隆技术 292
10.1NAND Flash PUF相关原理概述 293
10.1.1NAND Flash存储单元的阈值电压 293
10.1.2NAND Flash存储单元之间的相互干扰 294
10.2NAND Flash PUF应用 295
10.2.1提取设备指纹 295
10.2.2提取随机数 304
10.2.3信息隐藏 308
10.2.4提取密钥 314
本章参考文献 325
第11章 展望 327
11.13D NAND闪存 327
11.1.13D NAND闪存的优势 328
11.1.2主要厂商的3D NAND闪存及其特色 328
11.2相变存储器 330
11.3全息存储技术 331
本章参考文献 332
