本书旨在深入了解纳米级器件的工作原理，重点介绍非易失性存储器、神经网络训练/学习的各种应用的神经形态电路的设计，以及图像处理。
无
1987年，当我在伊利诺伊大学完成博士论文时，加州理工学院的John Hopfield向伊利诺伊大学香槟分校物理光学实验室的学生们讲述了他在神经网络方面的开创性研究，我有幸得以聆听。他描述了如何设计和制造循环神经网络芯片，以快速解决标准旅行商问题（Traveling Salesman Problem，TSP），因为TSP中的城市数迅速增加，没有物理计算机可以在渐近有界的多项式时间内解决该问题，所以该问题是NP完全的。
John Hopfield的开创性工作证明，如果组合算法的“目标函数”可以用二次型表示，那么可对循环人工神经网络中的突触连接进行相应的编程，通过组成神经元之间的大量相互作用来降低（局部极小化）目标函数的值。Hopfield的神经网络由可以随机初始化的侧连接神经元组成，该网络可以迭代减少固有Lyapunov能量函数，以达到局部极小状态。值得注意的是，在神经元未提供自反馈的循环神经网络的动力学作用下，Lyapunov函数单调递减。
在我作为助理教授进入密歇根大学后不久，我首先与一名博士生一起开发了具有异步状态更新的仿真神经网络，然后与另一名学生一起开发了具有同步状态更新的数字神经芯片。这些神经电路旨在通过在二分图中找到节点覆盖、边缘覆盖或对匹配来修复问题，进而修复VLSI芯片。在我们的图表示中，二分图中的一组顶点表示故障电路元件，而另一组顶点表示备用电路元件。为了将有故障的VLSI芯片重组为无故障的工作芯片，在嵌入式内置自检电路识别出有故障的电路元件后，通过可编程开关元件自动调用备用电路元件。
最重要的是，与TSP问题一样，二维阵列修复也可以表示为NP完全问题，因为修复算法寻找最佳的备用行和备用列的数量，这些备用行和备用列可以用于绕过位于存储阵列内的故障部件，如存储单元、字线和位线驱动器、传感放大器等。因此，由计数器和其他模块组成的简单数字电路很难解决这种自修复问题。值得注意的是，由于无法部署VLSI芯片的输入和输出引脚来将它们与深度嵌入的电路模块连接，因此无法使用外部数字计算机来确定如何修复嵌入式阵列。
在1989年和1992年，我分别获得了两项NSF拨款，将神经形态自修复设计风格扩展到了更广泛的嵌入式VLSI模块，例如存储器阵列、处理器阵列、可编程逻辑阵列等。然而，这种通过内置自检和自修复来提高VLSI芯片产量的方法略显超前，因为20世纪90年代早期最先进的微处理器只有几十万个MOS晶体管，并且亚微米CMOS技术很稳定。因此，在为各种类型的VLSI电路模块开发了基于神经网络的自修复VLSI芯片设计方法之后，我停止了对CMOS神经网络的研究。我对继续将神经网络应用于其他类型的工程问题并不太感兴趣，因为我想继续专注于VLSI的研究。对神经形态VLSI电路的研究发表在新书Learning in Energy-Efficient Neuromorphic Computing Algorithm and Architecture Co-Design Neuromorphic Circuits for Nanoscale Devices中。
另外，为了推广几种可能推动VLSI的新兴技术，在20世纪90年代初，美国国防高级研究计划局（DARPA）发起了超电子技术项目，即超密集、超快速计算组件研究计划，日本国际贸易工业部（MITI）启动了量子功能器件（QFD）项目。在这两个研究项目中，由于早期大量创新性非CMOS技术的成功，美国国家纳米技术计划（NNI）得以启动，该计划是一项由20个部门和独立机构参与的美国政府研究与开发（R&D）计划，旨在推动纳米技术革命，以影响行业乃至整个社会。
在1995年至2012年期间，我的研究团队首先专注于基于量子物理学的器件和量子隧穿器件的电路建模，然后利用一维（谐振隧穿二极管）、二维（纳米线）和三维（量子点）约束量子器件，广泛研究用于图像和视频处理的细胞神经网络（Cellular Neural Network，CNN）电路。随后，通过使用电阻性突触器件（通常称为忆阻器）和CMOS神经元，我们开发了基于学习的神经网络电路。我们还通过在计算节点中将量子隧穿和忆阻器件混合，开发了模拟电压可编程纳米计算架构。
本书的大部分内容包含我的三个博士生的论文，因此这三人都被列为本书的合著者。此外，我还邀请了一些访问研究科学家加入CNN的相关研究工作，以扩大本书的讨论范围。本书大体上按以下方式组织：
第1章至第4章从物理特性、器件建模、电路仿真、体系结构和性能评估等方面介绍电阻RAM存储器，即忆阻器交叉阵列存储器。第5章和第6章介绍使用忆阻器进行基于学习的神经形态设计，具体而言，在忆阻器基板上实现脉冲时间依赖可塑性（Spiking Timing Dependent Plasticity，STDP）和Q学习算法。第7章至第10章介绍各种类型的量子隧穿器件以及如何利用它们来设计基于超高速和低功耗忆阻器的图像处理、视频运动处理和彩色图像处理算法。此外，为了在单个量子点或量子盒阵列上实现多种功能，我们将处理器阵列与可编程忆阻器相结合，从而改变处理器阵列的时空特性。这种混合设计可以解释为一种实现模拟电压可编程纳米计算机以及各种时空滤波系统的新方法。第11章介绍基于忆阻器的细胞神经网络的设计，这是中国重庆西南大学的段书凯教授研究组在2011年和2012年访问我的研究组时在密歇根州开始进行研究的。第12章对基于忆阻器的CNN进行了更为严格的分析，这是电子科技大学（UESTC）的于永斌教授在2013年和2014年访问我的研究团队时开始研究的内容。
为了利用忆阻器、量子隧穿和自旋转矩纳米磁性器件建立这些不同的研究课题，我请Steve Kang教授、Kamran Eshraghian教授和Jason Eshraghian博士为不完全熟悉这些新兴技术及其在神经形态计算中的应用的读者编写了本书的教学介绍。第1章从基本操作原理出发，对这些技术进行了很好的回顾，因此，本书可用于纳米级神经形态学电路和体系结构的高级课程。
在第2章中，W.H.Lee和我描述了我们使用基于银非晶氧化硅的忆阻器结构开发的首个交叉阵列存储器技术，并详细介绍了交叉阵列存储器架构，本章还提供了适当的分析模型和计算，包括用于可扩展交叉阵列设计的静态功耗建模。
在第3章中，I.Ebong和我介绍了交叉阵列存储器设计的实际问题，以说明如果进行多次读取操作，单元性能就会下降。具体而言，本章提出了对单级单元（Single Level Cell,SLC）忆阻存储器进行编程和擦除的程序，实践证明，该程序具有自适应方案，该方案源于器件属性，使得访问忆阻存储器更加可靠。
在第4章中，Y.Yilmaz和我讨论了基于忆阻器的多层单元（Multi Level Cell，MLC）的可靠性架构设计，该架构使用了减少约束的读监控写方案。此外，我们描述了一种新的读取技术，该技术可以成功地区分由于阵列中的读取/写入干扰而导致的电阻漂移下的电阻状态。最后，我们提供了分析关系的推导，以阐述选择外围器件参数的设计方法。
在第5章中，I.Ebong和我描述了基于脉冲时间依赖可塑性（STDP）的赢者通吃（Winner Takes All，WTA）神经网络架构的设计，该架构用于二维网格结构上物体的位置检测。我们证明了采用忆阻器实现STDP的模拟方法优于纯数字方法。
在第6章中，I. Ebong和我提出了一个尝试，将更高层次的学习与忆阻器交叉阵列建立联系，从而为实现自配置电路铺平了道路。将该方法或者说是训练方法与Q学习进行了比较，以再次强调可靠地使用忆阻器可能不需要知道每个器件的精确电阻，而是使用器件之间的相对大小进行工作。
在第7章中，S.Li、I.Ebong和我提出了一种基于谐振隧穿二极管（Resonant Tunneling Diode，RTD）的CNN结构，通过驱动点图分析、稳定性和建立时间研究、电路仿真等方法对其运行情况进行了详细描述。对不同CNN实现方式的比较研究表明，基于RTD的CNN在集成密度、运行速度和功能性方面优于常规的CMOS技术。
在第8章中，W.H. Lee和我介绍了一种新的彩色图像处理方法，该方法利用多峰谐振隧穿二极管在二极管的量化状态下对颜色信息进行编码。多峰谐振隧穿二极管是由可编程的无源和有源器件局部连接的二维垂直柱阵列组成，实现了量化、颜色提取、图像平滑、边缘检测和线条检测等多种彩色图像处理功能。为了处理输入图像中的颜色信息，本章采用两种不同的颜色表示方法：一种使用颜色映射，另一种直接使用RGB表示。
在第9章中，W.H. Lee和我演示了一种纳米级速度调谐滤波器的设计，该滤波器采用谐振隧穿二极管执行时间滤波以跟踪运动和静止的物体。新的速度调谐滤波器不仅适用于纳米计算，而且在面积、功率和速度方面也优于其他方法。通过分析模型表明，我们所提出的用于速度调谐滤波器的纳米结构在特定区域内是渐近稳定的。
在第10章中，Y.Yilmaz和我提出了一种新颖的结构，用由量子点和可变电阻器件组成的可编程人工视网膜进行图像处理。这是一种模拟可编程电阻网格结构，在最基本的层次上模拟生物视网膜的细胞连接，该结构能够执行各种实时图像处理任务，如边缘检测和线条检测。单元结构采用称为量子点的三维受限谐振隧穿二极管进行信号放大和锁存，这些量子点通过非易失性的连续可变电阻元件在相邻单元之间互联。
在第11章中，段教授的团队提出了一种基于忆阻器的紧凑型CNN模型及其性能分析和应用。在新的CNN设计中，忆阻器桥电路作为突触电路元件，替代了传统CNN结构中的复杂乘法电路，此外，利用忆阻器的负微分电阻（Negative Differential Resistance,NDR）和非线性IV特性替代了传统CNN中的线性电阻。该章所提出的CNN设计具有高密度、无波动性、突触权重可编程等优点，通过仿真证实了所提出的基于忆阻器的CNN设计操作，这些操作可用于实现几种图像处理功能，并与传统CNN进行了比较。由于忆阻器突触权重的变化，用蒙特卡罗仿真演示了所提出的CNN的行为。
最后，在第12章中，于教授的团队描述了基于忆阻器的WTA神经网络和基于忆阻器的循环神经网络。该章阐述两种忆阻神经网络设计的理论原理，对它们进行了动力学分析，并研究了这两种神经网络的行为。在此理论分析的基础上，他们将WTA神经网络应用于皮肤病分类器中，并改进了仿真结果。
Pinaki Mazumder
计算机\硬件
由于工作原理基于不同的物理特性，纳米器件在设计某些类型的电路时比传统的CMOS晶体管具有优势，因此工业界和学术界对纳米器件进行了大量的研究。
本书旨在让读者深入了解如何利用纳米器件的工作原理设计用于非易失性存储器、神经网络训练/学习和图像处理的神经形态电路。
本书包含以下主题
纳米交叉阵列存储器设计；
基于纳米器件的Q学习和值迭代；
纳米器件的图像处理和计算机视觉应用；
基于纳米器件的细胞非线性/神经网络。
作者简介
皮纳基·马祖姆德（Pinaki Mazumder） 于1988年获得伊利诺伊大学香槟分校的博士学位。目前，他是密歇根大学安娜堡分校电气工程和计算机科学系的教授。他因在超大规模集成电路领域的杰出贡献，于1999年成为IEEE会士，2007年成为AAAS会士。他在美国国家科学基金会工作了三年，担任CISE董事会新兴技术项目的项目主任，并领导了工程局的量子、分子和高性能仿真程序项目。他的研究兴趣包括纳米级CMOS超大规模集成电路设计和新兴技术的电路设计，如量子MOS和谐振隧穿器件、半导体存储系统和超大规模集成电路芯片的物理合成。
Pinaki Mazumder教授是密歇根大学安娜堡分校电气工程与计算机科学系的终身教授、IEEE会士和AAAS会士，主要研究CMOS超大规模集成电路设计、半导体存储系统、计算机辅助设计工具和电路设计。早在2008年惠普实验室研制出忆阻器原型器件时，以Pinaki Mazumder教授为代表的学者就开始着手研究忆阻器及其神经形态计算，并取得了丰硕的成果，本书就是这些成果的集大成者。
本书涵盖忆阻器的发现与定义、数学模型、物理特性、器件系统以及神经形态计算，在此基础上，主要研究了基于忆阻器的数字存储器与多级存储架构、STDP、Q-Learning与迷宫搜索、细胞神经网络、BP神经网络、循环神经网络、WTA神经网络及其设计以及动力学与应用，重点分析了纳米电子器件、CMOS忆阻器神经形态芯片、滤波器设计及其图像处理等。
本书聚焦于忆阻器、纳米器件电路、神经形态计算、图像处理等方面，具有基础性与系统性、理论性与工程性、前沿性与前瞻性、纯粹性与完备性的特点，是人工智能前沿领域中的新兴著作，适合忆阻器、神经形态计算、类脑智能与纳米器件方向的高年级本科生、研究生、老师和工程师阅读。
在翻译过程中，我们得到了本书作者以及西南大学段书凯教授、电子科技大学钟守铭教授和西藏大学尼玛扎西教授的指导，同时电子科技大学数字信息系统研究室的研究生刘英、汤亦凡、唐倩、彭辰辉、陆瑞军、艾梦巍、王昊、程曼、黄成、杨岱锦、莫洁虹以及西南大学的沈嘉润等对本书部分章节的翻译工作提供了帮助，在此对他们的辛勤付出表示感谢！
纳米忆阻器与神经形态计算是一个快速发展的新兴交叉领域，新模型、新概念、新问题、新方法、新应用层出不穷，限于译者的研究水平和学识，书中难免存在错误和不当之处，敬请读者指正！
于永斌
2021年12月
于电子科技大学
译者序
前言
致谢
作者简介
第1章 导论1
1.1 发现1
1.2 忆阻器2
1.2.1 定义2
1.2.2 理想忆阻器的直流响应4
1.2.3 理想忆阻器的交流响应4
1.2.4 理想忆阻器的交流响应：更高的频率5
1.2.5 进一步观察6
1.2.6 小结8
1.3 忆阻器件和系统8
1.3.1 定义8
1.3.2 电阻开关机制9
1.3.3 离子传输10
1.3.4 导电丝的形成11
1.3.5 相变转换12
1.3.6 谐振隧穿二极管14
1.3.7 磁阻式存储器、纳米粒子和多态器件15
1.4 神经形态计算17
1.4.1 忆阻突触18
1.4.2 忆阻神经元18
1.4.3 忆阻神经网络19
1.5 本章总结22
致谢22
参考文献23
第2章 交叉阵列存储模拟和性能评估27
2.1 引言27
2.1.1 动机27
2.1.2 其他存储器28
2.1.3 非晶硅交叉阵列存储单元29
2.2 结构30
2.2.1 交叉阵列模型32
2.3 写入策略和电路实现35
2.4 读取策略和电路实现37
2.5 存储架构40
2.6 功耗45
2.6.1 功耗估计45
2.6.2 静态功率分析建模48
2.7 噪声分析51
2.8 面积开销53
2.8.1 基于库的系统设计60
2.9 技术比较62
参考文献62
第3章 基于忆阻器的数字存储器65
3.1 引言65
3.2 忆阻存储器的自适应读写66
3.3 仿真结果68
3.3.1 高状态仿真68
3.3.2 背景电阻扫描69
3.3.3 最小阻值扫描71
3.3.4 二极管泄漏电流71
3.3.5 功率建模72
3.4 自适应方法的结果与讨论75
3.5 本章总结77
参考文献77
第4章 多级存储架构79
4.1 引言79
4.2 多状态存储架构81
4.2.1 架构81
4.2.2 读/写电路82
4.2.3 阵列电压偏置方案83
4.2.4 读/写操作流程84
4.2.5 状态由来84
4.3 读/写操作86
4.3.1 读/写仿真86
4.3.2 读取相邻单元的干扰88
4.4 变化的影响90
4.4.1 编程电压的变化90
4.4.2 串联电阻的变化91
4.4.3 减少影响的读取方案91
4.4.4 阵列写入后的电阻分布93
4.5 本章总结94
参考文献94
第5章 搭建忆阻器的神经形态组件98
5.1 引言98
5.2 使用忆阻器实现神经形态功能99
5.2.1 侧抑制99
5.2.2 返回抑制100
5.2.3 重合检测100
5.3 CMOS忆阻器神经形态芯片103
5.3.1 模拟示例:位置检测器103
5.3.2 数字示例：多功能芯片架构107
5.4 本章总结110
参考文献111
第6章 基于忆阻器的值迭代114
6.1 引言114
6.2 Q学习和忆阻器建模115
6.3 迷宫搜索应用116
6.3.1 介绍116
6.3.2 硬件架构117
6.3.3 Q学习的硬件连接119
6.4 结果与讨论120
6.5 本章总结121
参考文献121
第7章 基于隧道的细胞非线性网络结构在图像处理中的应用123
7.1 引言123
7.2 CNN工作原理124
7.2.1 基于Chua和Yang模型的CNN124
7.2.2 基于RTD模型的CNN方程125
7.2.3 不同CNN模型之间的比较126
7.3 电路分析127
7.3.1 稳定性128
7.3.2 建立时间128
7.4 仿真结果131
7.5 本章总结133
参考文献134
第8章 多峰谐振隧穿二极管的彩色图像处理136
8.1 引言136
8.2 基于多峰谐振隧穿二极管的彩色图像处理器138
8.3 颜色表示方法140
8.4 颜色量化141
8.4.1 实现和结果141
8.4.2 建立时间分析143
8.4.3 能耗分析143
8.5 光滑函数144
8.5.1 运行与结果144
8.5.2 稳定时间145
8.5.3 能耗分析145
8.6 颜色提取146
8.7 与数字信号处理芯片的比较149
8.8 稳定性150
8.9 本章总结151
参考文献152
第9章 基于谐振隧穿二极管阵列的速度调谐滤波器设计154
9.1 引言154
9.2 基于RTD的速度调谐滤波器阵列155
9.2.1 传统速度调谐滤波器155
9.2.2 谐振隧穿二极管156
9.2.3 速度调谐滤波器158
9.3 系统分析162
9.3.1 速度调谐滤波器的时延分析162
9.3.2 速度调谐滤波器的功耗分析163
9.3.3 速度调谐滤波器的稳定性166
参考文献168
第10章 基于量子点和可变电阻器件的可编程人工视网膜图像处理169
10.1 引言169
10.2 CNN结构170
10.2.1 谐振隧穿二极管模型与偏置170
10.2.2 单元结构171
10.3 编程可变电阻连接172
10.4 分析建模175
10.4.1 边缘检测175
10.4.2 线条检测177
10.5 仿真结果178
10.5.1 边缘检测178
10.5.2 线条检测181
10.6 本章总结181
参考文献181
第11章 基于忆阻器的非线性细胞/神经网络:设计、分析及应用183
11.1 引言183
11.2 忆阻器基础184
11.3 基于忆阻器的细胞神经网络186
11.3.1 忆阻细胞神经网络的描述186
11.3.2 使用忆阻桥电路实现突触的连接187
11.3.3 M-CNN细胞的实现189
11.4 数学分析190
11.4.1 稳定性190
11.4.2 容错性191
11.5 计算机仿真193
11.5.1 稳定性分析193
11.5.2 容错性分析194
11.5.3 M-CNN的应用194
11.5.4 M-CNN上忆阻器偏差值的影响196
11.6 本章总结197
参考文献197
第12章 基于忆阻器的神经网络动力学分析及其应用200
12.1 引言200
12.2 定义和规则202
12.3 基于忆阻器的神经网络设计203
12.3.1 MRNN的设计203
12.3.2 MWNN的设计206
12.3.3 小结208
12.4 动力学分析208
12.4.1 MRNN的动力学分析208
12.4.2 MWNN的动力学分析220
12.4.3 WTA点存在的充分条件220
12.4.4 WTA行为和收敛性分析221
12.4.5 小结222
12.5 应用与仿真223
12.5.1 MRNN的仿真223
12.5.2 BP-MWNN分类器系统的说明性示例227
12.5.3 小结230
参考文献230
附录235
缩写词242
