本书介绍了实现嵌入式深度学习的算法和硬件实现技术。作者描述了应用、算法、电路级的协同设计方法，这些方法有助于实现降低深度学习算法计算成本的目标。这些技术的影响显示在四个用于嵌入式深度学习的硅原型中。

无

尽管深度学习算法在许多典型的机器学习任务中都达到了最先进的水平，但由于大量的计算和巨大的模型尺寸，深度学习算法在能耗方面的代价非常高。因此，在电池容量受限的可穿戴设备上运行的深度学习应用只能通过与资源丰富的云端无线连接实现。这种方案有一些缺点。首先，存在隐私问题。云计算要求用户与远程系统共享其原始数据—图像、视频、位置和语音。大多数用户都不愿意这样做。其次，云计算方案要求用户始终保持连接状态，在当前的蜂窝网络覆盖范围下这是不可行的。此外，实时应用需要低延迟的连接，而当前的通信基础设施无法保证这一点。最后，无线连接的效率很低—在供能受限的平台上，每个待传输的信息位需要太多能量才能进行实时数据传输。所有这些问题（隐私、延迟、连接性以及昂贵的无线连接）都可以通过在边缘端实施计算来解决。寻找这一目标的实现方法是本书的主题。本书聚焦于使面向嵌入式应用的深度学习算法的能耗降至最低的技术，这些应用是运行在电池容量受限的可穿戴边缘设备上的。
只有当这些深度学习算法在可穿戴设备的计算平台提供的能量和功率预算内以更高能效的方式运行时，才有可能进行边缘计算。为了实现这一目标，需要在应用的所有设计层次上进行多项创新。首先可以开发更智能的应用，以实现统计上更高效的深度学习算法，进而在基于专门定制的电路构建的优化硬件平台上运行。最后，设计人员不应单独关注这些领域，而应协同优化硬件和软件，以建立能耗最低的深度学习平台。本书概述了设计此类系统可能的解决方案。

比利时鲁汶大学 Bert Moons　　
美国加利福尼亚州斯坦福大学 Daniel Bankman　　
比利时鲁汶大学Marian Verhelst　

计算机\硬件

本书是入门嵌入式深度学习算法及其硬件技术实现的经典书籍。在供能受限的嵌入式平台上部署深度学习应用，能耗是最重要的指标，书中详细介绍如何在应用层、算法层、硬件架构层和电路层进行设计和优化，以及跨层次的软硬件协同设计，以使深度学习应用能以最低的能耗运行在电池容量受限的可穿戴设备上。同时，这些方法也有助于降低深度学习算法的计算成本。
本书内容：
针对电池容量受限的可穿戴设备上的高能效神经网络的高效解决方案。
在设计的应用、算法、硬件架构和电路层次上讨论面向嵌入式的神经网络的优化，涉及真实的原型芯片设计案例。
利用并行性、数据重用、稀疏运算以及低精度计算，设计高效的卷积神经网络处理器。
通过真实的原型芯片案例支撑所提出的理论和设计概念，详细讨论相应的物理实现及性能，从而说明并强调所提出的跨层设计概念。

深度学习无疑是近十多年来最火热的研究方向之一，这个领域已经涌现出了数不清的研究成果，市面上也存在不少关于深度学习的图书。本书与这些已出版的图书的最大不同之处在于，涉及深度学习应用设计的所有层次。具体而言，本书面向的是供能受限的嵌入式平台，在这样的平台上部署深度学习应用，能耗是最重要的指标。本书详细介绍如何在应用层、算法层、硬件架构层和电路层进行设计和优化，以及跨层次的软硬件协同设计，以使深度学习应用能以最低的能耗运行在电池容量受限的可穿戴设备上。本书的一个特色是，这些设计和优化技术均由真实的原型芯片支撑。本书涵盖的内容很广，同时又不失深度，适合作为从事深度学习硬件架构、深度学习软硬件协同设计等研究的高年级本科生或研究生的参考书，也可供从事相关领域工作的技术人员参考。
本书的作者Bert Moons博士毕业于比利时鲁汶大学，Daniel Bankman博士毕业于美国斯坦福大学，Marian Verhelst教授在鲁汶大学任教。本书内容主要是Bert Moons在Marian Verhelst教授指导下的博士论文研究。Bert Moons在嵌入式深度学习领域发表了十余篇学术论文，有丰富的研究经验；Marian Verhelst教授的主要研究方向是嵌入式机器学习和高能效硬件设计，在这些领域已发表论文近百篇。相信他们在嵌入式深度学习方面的宝贵经验能让读者受益匪浅。本书的英文原版颇受欢迎，在Springer网站上已被下载20 000余次。
由于译者才疏学浅，书中难免有疏漏之处，敬请广大读者批评指正，以便我们进一步修正。

译者

译者序
前言
致谢
缩写词
第1章　嵌入式深度神经网络 1
1.1　简介 1
1.2　机器学习 2
1.2.1　任务T 3
1.2.2　性能度量P 3
1.2.3　经验E 4
1.3　深度学习 4
1.3.1　深度前馈神经网络 6
1.3.2　卷积神经网络 8
1.3.3　循环神经网络 16
1.3.4　训练深度神经网络 18
1.4　嵌入式深度神经网络的挑战 25
1.5　本书创新点 27
参考文献 29
第2章　优化的层次级联处理 34
2.1　简介 34
2.2　层次级联系统 36
2.2.1　泛化的两级唤醒系统 36
2.2.2　层次化的代价、精度和召回率 37
2.2.3　层次化分类器的Roofline模型 40
2.2.4　优化的层次级联感知 42
2.3　概念的一般性证明 43
2.3.1　系统描述 43
2.3.2　输入统计 45
2.3.3　实验 46
2.3.4　本节小结 48
2.4　案例研究：基于CNN的层次化人脸识别 49
2.4.1　人脸识别的分层结构 49
2.4.2　层次化的代价、精度和召回率 51
2.4.3　优化的人脸识别分层结构 52
2.5　小结 55
参考文献 56
第3章　硬件–算法协同优化 58
3.1　简介 58
3.1.1　利用网络结构 59
3.1.2　增强并利用稀疏性 63
3.1.3　增强并利用容错性 64
3.2　低精度神经网络的能量增益 66
3.2.1　片外访存的能耗 67
3.2.2　硬件平台的一般性建模 68
3.3　测试时定点神经网络 69
3.3.1　分析和实验 70
3.3.2　量化对分类准确率的影响 70
3.3.3　稀疏FPNN的能耗 73
3.3.4　结果 75
3.3.5　讨论 76
3.4　训练时量化神经网络 77
3.4.1　训练QNN 78
3.4.2　QNN的能耗 81
3.4.3　实验 81
3.4.4　结果 84
3.4.5　讨论 88
3.5　聚类神经网络 88
3.6　小结 90
参考文献 91
第4章　近似计算的电路技术 95
4.1　近似计算范式简介 95
4.2　近似计算技术 98
4.2.1　容错分析与质量管理 98
4.2.2　近似电路 99
4.2.3　近似架构 100
4.2.4　近似软件 101
4.2.5　讨论 102
4.3　DVAFS：动态电压精度频率调节 102
4.3.1　DVAFS基础 102
4.3.2　DVAFS的容错识别 105
4.3.3　DVAFS的能量增益 106
4.4　DVAFS的性能分析 109
4.4.1　模块级的DVAFS 109
4.4.2　系统级的DVAFS 111
4.5　DVAFS实现的挑战 115
4.5.1　基础DVA(F)S模块的功能实现 115
4.5.2　基础DVA(F)S模块的物理实现 117
4.6　小结和讨论 118
参考文献 119
第5章　Envision：能耗可调节的稀疏卷积神经网络处理 122
5.1　神经网络加速 122
5.2　针对嵌入式CNN的二维MAC处理器架构 124
5.2.1　处理器数据通路 125
5.2.2　片上存储架构 128
5.2.3　利用网络稀疏性的硬件支持 130
5.2.4　通过定制化指令集实现高能效的灵活性 132
5.3　基于40nm CMOS的DVAS兼容的Envision处理器 133
5.3.1　RTL级的硬件支持 134
5.3.2　物理实现 135
5.3.3　测量结果 136
5.3.4　Envision V1回顾 143
5.4　基于28nm FD-SOI的DVAFS兼容的Envision处理器 144
5.4.1　RTL级硬件支持 146
5.4.2　物理实现 147
5.4.3　测量结果 147
5.4.4　Envision V2回顾 156
5.5　小结 157
参考文献 158
第6章　BinarEye： 常开的数字及混合信号二值神经网络处理 160
6.1　二值神经网络 160
6.1.1　简介 160
6.1.2　二值神经网络层 161
6.2　二值神经网络应用 165
6.3　可编程的输入到标签的加速器架构 167
6.3.1　256X：基础的BinaryNet计算架构 169
6.3.2　SX：灵活的DVAFS BinaryNet计算架构 178
6.4　MSBNN：混合信号的256X实现 182
6.4.1　开关电容神经元阵列 183
6.4.2　测量结果 184
6.4.3　模拟信号通路代价 188
6.5　BinarEye：数字的SX实现 189
6.5.1　全数字的二值神经元 189
6.5.2　物理实现 190
6.5.3　测量结果 190
6.5.4　BinarEye中的DVAFS 194
6.5.5　与最先进水平的对比 195
6.6　数字与模拟二值神经网络的实现对比 197
6.7　展望与未来工作 200
6.8　小结 202
参考文献 204
第7章　结论、贡献和未来工作 206
7.1　结论 207
7.2　未来工作的建议 210
参考文献 211
索引 212