本书是神经网络领域中的一部优秀教材，着重讲述人工神经网络基本原理以及如何运用各种神经计算技术来解决科学和工程领域中的现实问题，如模式识别、最优化、事件分类、非线性系统的控制和识别以及统计分析等。
主要特点：
● 算法——很多算法用框线明确标出，便于读者查找。
● MATLAB Toolbox——书中大量使用MATLAB的Neural Network Toolbox，举例说明神经计算概念。
● Web站点——登录http://www.mhhe.com/ham，可获取最新、最全面的信息。
● 示例和附录——各章有详尽的示例，阐述重要的神经计算概念。附录A全面介绍了神经计算的数学基础。
无
亲身经历是最好的学习。
—阿尔伯特·爱因斯坦
任何一本教材在前言里都要回答四个主要问题：（1）本书讲述什么主题？（2）为什么出版本书？（3）本书的预期读者有哪些，需要哪些预备知识？（4）书中包含什么具体内容？
问：本书讲述什么主题？
答：这本教材是关于人工神经网络（或神经网络）的。更具体地说，本书论述神经计算。所以问题实际是：什么是神经计算？神经计算通常就是指信息处理。与程序计算不同，神经计算中的信息处理首先在人工神经网络（神经网络）结构内进行学习，这个神经结构根据预定的学习规则学会或自适应响应输入；在神经网络学好它所需要知道的东西之后，训练后的神经网络根据特定的应用可以用于执行特定的任务。神经网络以类似生物的交互方式，从它们的环境学习并适应环境。在求解那些用其他方法解决很困难的科学或工程问题中，神经计算会发挥重要作用，这些问题包括：模式识别、优化、事件分类、非线性系统的控制和辨识以及统计分析等。因此，本书主要面向希望理解人工神经网络的基本原理及其在科学和工程中应用的读者。
问：为什么出版本书
答：神经网络的领域非常宽广，且与多学科交叉。神经网络技术已经引起了许多不同领域的研究者的兴趣，而且成果非常庞大。关于神经网络技术的书籍有很多。但是，作者感到需要一本专门针对科学家和工程师的书，即针对那些希望应用神经网络求解复杂问题的科学家和工程师。这并不意味着本书只讲解神经结构及其相应训练算法，实际上，本书给出了许多可用于求解科学和工程中大量问题的各种神经计算方法。在介绍几乎所有的神经计算概念时，都给出详细的数学推导，以及与这个特定结构相伴的说明性例子和相应的训练算法。
问：本书的预期读者有哪些，需要哪些预备知识？
答：本书主要用于研究生水平的神经网络课程。但是，高年级本科学生可以在具备恰当背景（即具备下面介绍的预备知识）的基础上使用这本教材。而且，应用工程师和科学家也可以自学本书。使用这本教材成功学习神经计算所需的预备知识包括：线性代数和微分方程组，最好具有随机变量和随机过程领域的知识，但这不是必要的，因为这些也包含在本书附录A中（内容虽然简单但也足够）。
问：书中包含什么具体内容？
答：本书分成两个主要部分，细节如下。附录A包含神经计算的数学基础。
第一部分：神经计算的基本概念和部分神经网络体系结构及其学习规则
包括第1～5章。
第1章为读者介绍神经网络和神经计算的基本思想，同时包括神经网络的简单历史。
第2章首先讨论作为神经网络的构建模块的人工神经元的基本模型。接着讨论激活函数的不同类型，然后，给出了自适应线性单元（Adaline）和多重自适应线性单元（Madaline）。接着给出了最小均方（LMS）算法；然后详细介绍简单感知器，简单讨论多层前馈感知器。然后包含一些基本的学习规则。这些学习规则是训练更加复杂神经网络结构的基础。第2章最后总结一些经过精心挑选的数据处理方法。如果读者对人工神经网络不熟悉，则应该学习第2章的所有内容。这章是深入理解第3～5章中精选的神经网络结构及其相关算法的基础。
第3章介绍多种映射神经网络，以联想记忆开始，然后介绍用于训练多层前馈感知器的反向传播，对反向传播给出了更加高级的训练方法。还介绍了对传网络，本章最后给出径向基函数神经网络。
第4章讨论部分自组织神经网络。这包括Kohonen自组织映射（SOM）和学习向量量化（LVQ）。最后介绍自适应共振理论（ART）神经网络，并给出ART1网络的细节。
第5章介绍递归神经网络和时间前馈网络（它也是递归网络），介绍了这些时间前馈神经网络和那些不是多层前馈网络之间的区别。该章包括霍普菲尔德网络、模拟退火、玻尔兹曼机、简单递归神经网络（SRN）、时延网络和分布式时滞前馈神经网络。
第二部分：神经计算的应用
包括第6～10章。
第6章介绍用于求解约束最优化问题的部分神经计算方法。给出了用于线性规划和二次规划问题的神经网络。最后讨论用于非线性连续约束最优化问题的神经网络。这章包括用于非线性规划惩罚方法和障碍函数方法的神经网络，也包括用于普通的和增广的拉格朗日乘子方法的神经网络。
第7章讨论用于求解各种矩阵代数问题的结构化神经网络体系结构和相关的学习规则。给出了相当多的重要矩阵分解（或因子分解）以及每个方法的神经计算解。也给出了应用神经计算方法实例，如矩阵的伪逆、求解代数李雅普诺夫方程和求解代数里卡蒂方程。
第8章讨论用于求解线性代数方程组的神经计算方法。这些方法包括最小二乘神经计算方法、共轭梯度学习规则、广义鲁棒神经计算方法、用于具有未定数值秩的不适定问题的正则化方法、用于迭代离散时间方法的矩阵分裂和总体最小二乘问题。还给出了求解线性代数方程组的Lシ妒蚅1范数的神经网络方法。
第9章包含许多用于数据统计分析的神经网络体系结构，包括用于主成分分析（PCA）、主成分回归（PCR）、经典的最小二乘（CLS）的神经网络，用于非线性PCA和鲁棒PCA的神经网络，用于部分最小二乘回归（PLSR）的神经网络，以及用于鲁棒PLSR的神经网络方法。
第10章包含信号处理应用、线性和非线性系统辨识、非线性控制和估计的神经网络，详细解释了许多例子。也包括对盲源分离使用神经网络的独立成分分析（ICA）。另外，介绍了快速ICA算法以及应用快速ICA算法分离数字图像的例子。
本书的主要特征
·突出大多数的训练算法，使得它们很容易查找。
·这些训练方法中的一部分在正文中给出了它们的MATLAB函数实现。代码相当短，只需花费几分钟就可以进入MATLAB。
·另外，广泛使用MATLAB神经网络工具箱，以便用实验说明一些神经计算的概念。
·本书的一些问题涉及的数据保留在McGraw-Hill高等教育出版社的网页上，并且很容易访问到。本书的URL为：http://www.mhhe.com/ham。
·在许多章节里给出了详细的例子以阐明神经计算的概念。
·在每章（除第1章外）的最后都给出了涉及广泛内容的大量习题。一些习题需要使用MATLAB和MATLAB神经网络工具箱。一些情况下提供了MATLAB函数的代码。
·附录A包含神经计算的综合数学基础。
Fredric M. Ham
Ivica Kostanic
本书是神经网络领域中的一部优秀教材，着重讲述人工神经网络基本原理以及如何运用各种神经计算技术来解决科学和工程领域中的现实问题，如模式识别、最优化、事件分类、非线性系统的控制和识别以及统计分析等。 主要特点： ● 算法——很多算法用框线明确标出，便于读者查找。 ● MATLAB Toolbox——书中大量使用MATLAB的Neural Network Toolbox，举例说明神经计算概念。 ● Web站点——登录http://www.mhhe.com/ham，可获取最新、最全面的信息。 ● 示例和附录——各章有详尽的示例，阐述重要的神经计算概念。附录A全面介绍了神经计算的数学基础。
Fredric M. Ham;Ivica Kostanic：Fredric M. Ham: 博士现任佛罗里达理工学院的Harris教授，佛罗里达理工学院信息处理实验室的主任。他于1980年在爱荷华州立大学获得电气工程博士学位。他在信号处理、生物医学工程、神经网络和控制系统领域发表了许多论文，是电气与电子工程师协会(IEEE)的高级会员，还是Eta Kappa Nu、Tau Beta Pi、Phi Kappa Phi和Sigma Xi的会员。
Ivica Kostanic: 博士现任佛罗里达理工学院电气与计算机工程系助理教授。他于2003年在佛罗里达中央大学获得博士学位。他的主要研究兴趣在无线通信、数字信号处理和神经网络的实际应用等方面。他还是电气与电子工程师协会(IEEE)的会员，在无线通信、神经网络和非线性控制领域发表了数篇论文。
叶世伟 王海娟：暂无简介
神经计算研究的重要意义已经为许多科学家所共识，神经计算已成为智能计算发展的一个主流方向。20世纪80年代中期以来，神经网络的发展已经成为近代非线性科学和计算智能研究的主要内容之一。特别是神经网络经历了近20年的迅速发展，其独特的知识表示结构和信息处理的原则，使其在许多应用领域中取得了显著效果，成为信息处理的一个有力工具，为解决一些传统计算机极难求解的问题提供了全新的思路。
目前，神经网络的研究（包括信息处理机制、原理和应用）取得了长足的发展，实际上神经网络已成为智能信息处理的主要技术之一。然而，如何有效地掌握神经网络的基本理论，如何利用神经网络的信息处理特点对实际问题求解还有待进一步的研究。在对神经网络感兴趣的科技工作者中，既有从事神经网络模型和原理方面研究的理论工作者，也有很多希望利用神经网络新颖的信息处理机制求解实际问题的应用研究者。如何紧扣神经网络的发展方向，面向应用、面向广大神经网络的理论和应用研究者，如何介绍神经网络的系统理论和具体应用，已成为神经网络课程教学面临的重大挑战。当然，神经网络的理论研究和应用不是割裂开来的，二者有着紧密的联系。本书正是从这一点入手，首先介绍神经网络的基本原理和系统方法，然后，紧密联系神经网络的最新发展成果，从神经网络的具体应用领域中挑选比较典型的应用，详细介绍如何利用神经网络解决实际问题，比较已有的解决方法和神经网络解决方法的异同，具体而深入地介绍神经网络应用的原理、方法和结果。这些都是本书比较突出的特点。
在这本书的翻译中，我们力求忠实、准确地反映原著的内容，同时，也力求保留原著的风格。由于神经网络的迅速发展，许多神经网络的新名词和概念还没有确定的中文译法，所以在本书中，凡是我们认为不能完全确定的名词或术语都在其第一次出现的地方给出了对应的英文原文，有一些甚至保留了英文原文，在全书最后还有中英文索引对照。
神经网络属于多学科交叉领域，研究范围很广。近年来，研究成果层出不穷。同时，由于译者水平有限，书中错误和不准确之处在所难免，恳请作者和读者批评指正。
译 者
2007年1月
出版者的话
专家指导委员会
译者序
前言
致谢
重要符号和算符
重要缩写词
第一部分 神经计算的基本概念和部分神经网络体系结构及其学习规则
第1章 神经计算概述 1
1.1 神经计算是什么 1
1.2 神经计算的发展历史 3
1.3 神经计算和神经科学 7
1.4 神经网络的分类 11
1.5 本书指南 12
参考文献 13
第2章 神经计算的基本概念 16
2.1 概述 16
2.2 人工神经元的基本模型 16
2.3 基本激活函数 18
2.4 人工神经元的霍普菲尔德模型 23
2.5 自适应线性单元和多重自适应线性单元 25
2.5.1 简单自适应线性组合器和LMS算法 25
2.5.2 自适应线性单元 31
2.5.3 多重自适应线性单元 37
2.6 简单感知器 39
2.6.1 Mays感知器学习规则 40
2.6.2 具有S形激活函数的简单感知器 41
2.7 前馈多层感知器 44
2.8 单个神经元基本学习规则概述 45
2.8.1 广义的LMS学习规则 46
2.8.2 Hebb学习 50
2.8.3 Oja学习规则 52
2.8.4 位势学习规则 54
2.8.5 相关学习规则 55
2.8.6 标准感知器学习规则 55
2.8.7 广义感知器学习规则 56
2.9 数据预处理 57
2.9.1 规整 58
2.9.2 变换 58
2.9.3 傅里叶变换 58
2.9.4 主成分分析 60
2.9.5 部分最小二乘回归 60
2.9.6 小波和小波变换 61
习题 61
参考文献 66
第3章 映射网络 71
3.1 概述 71
3.2 联想记忆网络 71
3.2.1 一般的线性分布式联想记忆 72
3.2.2 相关矩阵记忆 73
3.2.3 相关矩阵记忆的误差修正方法 76
3.3 反向传播学习算法 77
3.3.1 前馈多层感知器的基本反向传播算法 78
3.3.2 使用标准反向传播中的一些实际问题 80
3.3.3 具有动量更新的反向传播学习算法 83
3.3.4 批量更新 83
3.3.5 搜索然后收敛方法 84
3.3.6 可变学习率的批量更新 84
3.3.7 反向传播算法的向量矩阵形式 85
3.4 加速学习反向传播算法 87
3.4.1 前馈多层感知器的共轭梯度反向传播 87
3.4.2 基于最小二乘的递归反向传播算法 91
3.4.3 具有自适应激活函数斜度的反向传播 93
3.4.4 Levenberg-Marquardt算法 95
3.5 对传 98
3.6 径向基函数神经网络 101
3.6.1 训练具有固定中心的RBF NN 102
3.6.2 用随机梯度方法训练RBF NN 104
3.6.3 正交最小二乘 106
习题 109
参考文献 117
第4章 自组织网络 120
4.1 概述 120
4.2 Kohonen自组织映射 120
4.3 学习向量的量化 125
4.4 自适应共振理论(ART)神经网络 131
4.4.1 ART1 133
4.4.2 模糊ART和模糊ARTMAP 136
习题 137
参考文献 142
第5章 递归网络和时间前馈网络 144
5.1 概述 144
5.2 递归神经网络概述 144
5.3 霍普菲尔德联想记忆 144
5.4 模拟退火 152
5.5 玻尔兹曼机 156
5.6 时间前馈网络概述 160
5.7 简单递归网络 161
5.8 时延神经网络 164
5.9 分布式时滞前馈神经网络 165
习题 167
参考文献 173
第二部分 神经计算的应用
第6章 用神经网络解决最优化问题 177
6.1 概述 177
6.2 解决线性规划问题的神经网络 177
6.2.1 解决LP问题标准形式的神经网络 180
6.2.2 解决LP问题非标准形式的神经网络 181
6.3 解决二次规划问题的神经网络 186
6.4 解决非线性连续约束最优化问题的神经网络 195
6.4.1 罚函数NP方法的神经网络 196
6.4.2 障碍函数NP方法的神经网络 201
6.4.3 普通拉格朗日乘子NP方法的神经网络 201
6.4.4 增广拉格朗日乘子方法的神经网络 205
习题 209
参考文献 212
第7章 用神经网络解决矩阵代数问题 214
7.1 概述 214
7.2 矩阵的逆和伪逆 215
7.3 LU分解 220
7.4 QR因子分解 223
7.5 舒尔分解 227
7.6 谱因子分解—特征值分解（EVD）（对称特征值问题） 229
7.7 对称特征值问题的神经网络方法 230
7.8 奇异值分解 235
7.9 求解代数李雅普诺夫方程的神经计算方法 239
7.10 求解代数里卡蒂方程的神经计算方法 241
习题 245
参考文献 249
第8章 使用神经网络求解线性代数方程组 251
8.1 概述 251
8.2 联立线性代数方程组 251
8.3 线性方程组的最小二乘解 253
8.4 求解线性方程组的最小二乘神经计算方法 254
8.5 求解线性方程组的共轭梯度学习规则 258
8.6 求解受噪声侵扰的线性方程组的广义鲁棒方法 260
8.7 带病态确定数值秩的不适定问题的正则化方法 266
8.8 求解线性方程组的离散时间迭代方法中的矩阵分裂 273
8.9 总体最小二乘问题 278
8.10 求解线性方程组的L胺妒ㄗ钚 最大）神经网络 280
8.11 求解线性方程的L1范数（最小绝对偏差）神经网络 282
习题 285
参考文献 290
第9章 使用神经网络的统计方法 294
9.1 概述 294
9.2 主成分分析 294
9.3 神经网络自适应主成分估计的学习算法 297
9.3.1 第一主成分估计—Oja的正规化Hebb学习规则 297
9.3.2 多个主成分估计—对称子空间学习规则 301
9.3.3 多个主成分估计—广义Hebb算法 303
9.3.4 多个主成分估计—随机梯度上升算法 305
9.3.5 多个主成分估计—自适应主成分提取算法 305
9.3.6 非线性主成分分析（NLPCA）和鲁棒PCA 312
9.4 主成分回归 316
9.5 部分最小二乘回归 322
9.6 部分最小二乘回归的神经网络方法 327
9.7 鲁棒PLSR：一种神经网络方法 333
习题 337
参考文献 340
第10章 使用神经网络进行辨识、控制和估计 348
10.1 概述 348
10.2 线性系统的表示法 348
10.3 自回归滑动平均模型 349
10.4 用ARMA模型的线性系统辨识 349
10.5 应用PLSNET进行线性系统的参数系统辨识 352
10.6 非线性系统的表示法 355
10.6.1 非线性输入-状态-输出表示法 355
10.6.2 非线性ARMA 356
10.7 非线性动态系统的辨识和控制 359
10.7.1 非线性系统的辨识 360
10.7.2 非线性控制 365
10.8 独立成分分析：未知源信号的盲分离 371
10.8.1 独立成分分析的概述 371
10.8.2 用神经网络进行独立成分分析 372
10.8.3 用于ICA的快速固定点算法 381
10.9 可加噪声中的正弦曲线的谱估计 389
10.9.1 问题描述 389
10.9.2 频率估计问题的PLSR解 391
10.10 其他案例分析 395
10.10.1 从近红外谱模拟数据估计葡萄糖浓度 395
10.10.2 使用次声数据进行事件分类 399
习题 402
参考文献 407
附录A 神经计算的数学基础 411
A.1 引言 411
A.2 线性代数 411
A.2.1 域和向量空间 411
A.2.2 矩阵的表示和运算 413
A.2.3 内积和外积 414
A.2.4 向量的线性无关 415
A.2.5 矩阵的秩和线性无关 415
A.2.6 矩阵的确定性 415
A.2.7 矩阵的逆和伪逆 416
A.2.8 正交矩阵、酉矩阵和共轭向量 418
A.2.9 特征值和特征向量 418
A.2.10 相似变换 421
A.2.11 若当标准形 421
A.2.12 动态系统的状态空间描述 422
A.2.13 向量和矩阵的范数 426
A.2.14 奇异值分解 428
A.2.15 矩阵条件数 430
A.2.16 分块矩阵运算 431
A.2.17 克罗内克积与和 433
A.2.18 实数和复数方阵的重要性质小结 436
A.2.19 模式化矩阵和特殊矩阵 437
A.3 多变量分析的原理 440
A.3.1 集合和函数 440
A.3.2 二次型 442
A.3.3 链式法则 442
A.3.4 矩阵微积分 443
A.3.5 黑塞矩阵 445
A.3.6 雅可比矩阵 446
A.3.7 泰勒级数展开式 447
A.4 李雅普诺夫直接法 447
A.5 无约束最优化方法 449
A.5.1 极值的充分必要条件 449
A.5.2 最速下降法 450
A.5.3 牛顿法 451
A.5.4 改进的牛顿法和拟牛顿法 452
A.5.5 共轭梯度法 453
A.6 约束非线性规划 455
A.6.1 库恩-塔克条件 455
A.6.2 拉格朗日乘子法 456
A.7 随机变量和随机过程 458
A.7.1 随机变量 458
A.7.2 概率分布函数 460
A.7.3 概率密度函数 460
A.7.4 期望值、均值和矩 461
A.7.5 随机过程 463
A.7.6 向量随机过程 466
A.7.7 功率谱密度函数和功率谱密度矩阵 466
A.7.8 白噪声驱动的线性系统和谱因子分解 467
A.8 模糊集合论 469
A.9 部分三角恒等式 469
参考文献 471
主题索引 473
