本书主要讲述神经网络的基本概念，介绍实用的网络模型、学习规则和训练方法。全书分19章，内容涵盖神经元模型和网络结构、感知机学习规则、有监督的Hebb学习、Widrow—Hoff学习算法、反向传播算法及其变形、联想学习、竞争网络、Grossberg网络、自适应谐振理论和Hopfield网络。书中注重对数学分析方法和性能优化的讨论，强调神经网络在模式识别、信号处理以及控制系统等实际工程问题中的应用。同时本书包含大量例题、习题，并配有基于MATLAB软件包的“神经网络设计演示”程序。本书可以作为大学高年级本科生或一年级研究生的神经网络课程教材，也可供从事相关研究工作的科技人员参考。

本书介绍了神经网络的基本结构和学习规则，重点是对这些神经网络的数学分析、训练方法和神经网络在模式识别、信号处理以及控制系统等工程实践问题中的应用。
　　本书尽力用清晰和一致的方式来组织材料，以易于阅读和使用。对每个讨论的主题，使用大量例题来阐明。
　　由于这是一本关于神经网络设计的书，因此在选择主题时我们依据了两个原则：首先，尽量采用最实用的神经网络结构、学习规则和训练方法；其次，尽量保证该书的完整性，使读者从一章到下一章的学习感觉流畅。为此，在特定主题前，都会有一些相关的介绍性材料和应用数学基础的章节。总之，在我们选择的主题中，某些部分在神经网络实际应用中极其重要，而另一些部分对解释神经网络如何运算十分有用。
　　书中省去了很多本来可以收入的主题。比如，我们并没有把书写成有关所有已知神经网络结构和学习规则的分类和纲要，而是集中介绍一些基本概念。其次，我们没有讨论神经网络的实现技术，比如说VLSI实现、光学器件实现和并行计算机实现等。另外，我们也没有深入阐述神经网络的生物学和心理学基础。上述内容虽然重要，但本书并不包含这些内容，因为我们希望能集中力量把我们认为在神经网络设计中对读者最重要的主题阐述清楚。
　　本书是为高年级本科生或一年级研究生编写的半学期导论性课程教材(也适于作短期教程、自学或参考用书)。希望读者有一定的线性代数、概率论和微分方程的基础知识。
　　本书每一章都分为以下各节：目的、理论和实例、小结、例题、结束语、参考文献和习题。理论和实例部分是各章的主体部分，包括基本思想的发展和实例。小结部分列出了一些重要的公式和概念，以利于将本书作为实际工作的参考。每章大约三分之一的篇幅是例题部分，这一部分给出了所有关键概念的详细例题。
　　后面的图说明了各章之间的相互关系。
　　第1章到第6章覆盖了其余各章所需要的基本概念。第1章是绪论部分，简单介绍历史背景和一些基本生物学知识。第2章介绍基本的神经网络结构。全书都使用这一章给出的标记方法。第3章描述一个简单的模式识别问题，并说明怎样用三种不同类型的神经网络可以求解。这三种网络是本书所述其余神经网络类型的代表。另外，所引入的模式识别问题也为全书提供了一个实验的主线。
　　本书的许多重点是在使神经网络能完成各种任务的训练方法上。第4章介绍学习算法，并给出第一个实用算法(感知机学习规则)。虽然感知机网络存在一些基本的局限性，但它有其自身的历史重要性，并且对于导入某些关键概念也是十分有用的工具，这些概念将要用于其后各章讨论功能更加强大的网络中。
　　本书的主要目的是解释神经网络的基本工作原理。为此，我们将结合神经网络这一主题给出其他的一些介绍性材料。比如，第5和第6章要复习线性代数，它是理解神经网络的数学基础的核心。这两章讨论的概念在其余各章被广泛地用到。
　　第7章和第13章到第16章介绍主要由生物学和心理学的启示所得到的神经网络和学习规则。它们主要分为两类：相联网络和竞争网络。第7章和第13章介绍基本概念，第14章到第16章论述更先进的网络。　　
　　第8章到第12章提出一类叫性能学习(performance learning)的学习方法，用它训练网络以优化网络的性能。第8章和第9章介绍性能学习的基本概念。第10章到第12章将这些概念用于前馈神经网络中，这将增强网络的能力，但同时也会增加学习的复杂性。
　　第17章和第18章讨论递归网络，这些含有反馈连接的网络是一种动态系统。第17章研究这些系统的稳定性；第18章描述Hopfield网络，它是目前最有影响的递归网络之一。
　　在第19章，我们对本书所给出的各种网络进行小结，并讨论它们同本书没有涉及的其他网络之间的关系。同时，我们也要为读者指明进一步研究的一些其他参考资料。如果您想知道“我从此将走向何处 ”，请看第19章。
　　软件
　　MATLAB软件包不是使用本书必需的。上机练习可以用其他任何编程语言实现，而且Neural Network Design Demonstration(神经网络演示)虽然对读者有帮助，但也是理解本书涉及材料的关键所在。
　　然而，我们还是把MATLAB软件包作为这本教科书的附件。由于该软件包含矩阵／向量的表示法和图形显示，所以它也为神经网络的实验提供了一种方便的环境。我们以两种不同的方法使用MATLAB。第一，书中含有大量需要读者用MATLAB完成的习题。神经网络许多重要特征只有在解决大规模问题时才能体现出来，这些密集的计算不适于手算。用MATLAB能很快实现神经网络算法，并对大量问题方便地进行测试。(若没有MATLAB，用其他语言也可以完成这些练习。)
　　使用MATLAB的第二种方法是用本书所附磁盘中的Neural Network Design Demonstrations(神经网络设计演示)，这些交互式演示阐述了每章的重要概念。使用时，把软件拷到MATLAB目录中，在MATLAB的提示符下，敲击nnd即可激活。所有演示都可以在主菜单下访问。用左边所示的图标，指明正文中对这些演示的引用。演示需要MATLAB 4．0或更高版本，或者MATLAB 4．0学生版。另外，一些演示需要用MathWorks公司的Neural Network Toolbox(神经网络工具箱)1．0版本或更高版本。如何使用演示软件请
　　参阅附录C。
　　为了帮助使用本书的教师，我们还准备了投影胶片和习题答案。每一章的投影胶片(用微软的Powerpoint格式)可以从网址www·pws．com／pwsftp.htm1获得。也可以获取习题答案。
　　致谢
　　我们深切地感谢那些阅读了本书全部或部分稿件的人以及对软件的各种不同版本进行测试的人，特别要感谢的是Canterbury大学的John Andreae教授，AT＆T的Dan Foresee，Oklahoma州立大学的Carl Latino博士，MCI的Jack Hagan，SRI的Gerry Andeen博士，以及Idaho大学的Joan Miller和Margie Jenks。我们从Oklahoma州立大学的ECEN 5713班及Canterbury大学的ENEL 621班的研究生们那里得到了许多建设性的意见，他们阅读了最早的初稿，并测试了软件，对本书的改进提供了极有帮助的建议。另外，我还要感谢那些虽然没有留下姓名，但对该书提出了许多有益建议的人。
　　我们竭诚感谢Peter Gough博士，感谢他邀请我们加入Canterbury大学的电气和电子工程系，感谢Mike Surety在计算机方面的帮助，以及全系同仁的大力支持。在Oklahoma州立大学的学术假和离开Idaho大学的这一年时间里，我们完成了这本书。感谢TI公司特别是Bill Harland对我们在神经网络研究上的支持。感谢MathWorks公司允许我们使用NeuralNetwork Toolbox(神经网络工具箱)中的材料。
　　我们非常感谢Joan Pilgram的鼓励和她在商业方面的建议，感谢Bernice Hewitt夫人的热情支持。最后，我们由衷地表达对PWS出版公司的同仁们的感激，特别是Bill Barter，Pam Rockwell，Amy Mayfield，Ken Morton和Nathan Wilbur。感谢Vanessa Pineiro为本书设计的非常具有艺术品位的封面。

戴葵 等：暂无简介

本书全面、系统地介绍了神经网络系统的相关知识。主要内容包括：神经元模型和网络结构，感知机学习规则，有监督的Hebb学习，Widrow—Hoff学习算法，反向传播神经网络，反向传播算法的变形，联想学习，竞争网络，Grossberg网络，自适应谐振理论以及Hopfield网络等。重点是对这些神经网络的数学分析、训练方法、性能优化，以及神经网络在模式识别、信号处理以及控制系统等工程实践问题中的应用。
　　本书在叙述神经网络每个特定的主题之前，都会有一些相关材料的介绍和数学基础知识的讨论，使读者能够由浅入深地学习。书中每一章都由“目的”、“理论和实例”、“小结”、“例题”、“结束语”、“参考文献”和“习题”等部分组成。“理论和实例”部分是各章的主体部分，包含神经网络结构和算法的基本思想，以及相应的说明实例。“小结”部分列出每一章的重要公式和概念，为读者归纳出一章的核心内容。每章的“例题”部分占用大量篇幅，给出详细说明关键概念的应用实例。
　　本书是为高年级本科生或一年级研究生编写的神经网络课程教材，也可供从事相关研究工作的科技人员参考。本书附有使用软件包MATLAB的多种“神经网络设计演示”(Neural Network Design Demonstration )程序。另外，和本书配套的有教学投影胶片和习题答案，为实施课程的教学提供便利。
　　参加本书翻译工作的人员有戴葵、宋辉、谭明峰、防洪毅、沈立、刘芳、王蓉晖、王蕾、赵学秘、李宗伯等同志。本书的翻译，由于时间仓促，难免还存在不少不足之处，恳请广大读者给予批评指正。
　　译　者
　　2002年3月

第1章　绪论
1．1　目的
1．2　历史
1．3　应用
1．4　生物学的启示
参考文献
第2章　神经元模型和网络结构
2．1　目的
2．1　理论和实例
2．2．1　符号
2．2．2　神经元模型
2．2．3　网络结构
2．3　小结
2．4　例题
2．5　结束语
习题
第3章　一个说明性实例
3．1　目的
3．2　理论和实例
3．2．1　问题描述
3．2．2　感知机
3．2．3　Hamming网络
3．2．4　Hopfield网络
3．3　结束语
习题
第4章　感知机学习规则
4．1　目的
4. 2　理论和实例
4．2．1　学习规则
4．2．2　感知机的结构
4．2．3　感知机学习规则
4．2．4　收敛性证明
4．3　小结
4．4　例题
4．5　结束语
参考文献
习题
第5章　信号和权值向量空间
5．1　目的
5．2　理论和实例
5．2．1　线性向量空间
5．2．2　线性无关
5．2．3　生成空间
5．2．4　内积
5．2．5　范数
5．2．6　正交性
5．2．7　向量展开式
5．3　小结
5．4　例题
5．5　结束语
参考文献
习题
第6章　神经网络中的线性变换
6. 1　目的
6．2　理论和实例
6．2．1　线性变换
6．2．2　矩阵表示
6．2. 3　基变换
6．2. 4　特征值和特征向量
6．3　小结
6．4　例题
6．5　结束语
参考文献
习题
第7章　有监督的Hebb学习
7．1　目的
7．2　理论和实例
7．2．1　线性联想器
7．2．2　Hebb规则
7．2．3　仿逆规则
7．2．4　应用
7．2．5　Hebb学习的变形
7．3　小结
7．4　例题
7．5　结束语
参考文献
习题
第8章　性能曲面和最优点
8．1　目的
8．2　理论和实例
8．2．1　泰勒级数
8．2．2　方向导数
8．2．3　极小点
8．2．4　优化的必要条件
8．2．5　二次函数
8．3　小结
8．4　例题
8．5　结束语
参考文献
习题
第9章　性能优化
9．1　目的
9．2　理论和实例
9．2．1　最速下降法
9．2．2　牛顿法
9．2．3　共扼梯度法
9．3　小结
9．4　例题
9．5　结束语
参考文献
习题
第10章　Widrow-Hoff学习算法
10．1　目的
10．2　理论和实例
10．2．1　ADALINE网络
10．2．2　均方误差
10．2．3　LMS算法
10．2．4　收敛性分析
10．2．5　自适应滤波
10．3　小结
10．4　例题
10．5　结束语
参考文献
习题
第11章　反向传播
11．1　目的
11．2　理论和实例
11．2．1　多层感知机
11．2．2　反向传播算法
11．2．3　例子
11．2．4　反向传播
11．3　小结
11．4　例题
11．5　结束语
参考文献
习题
第12章　反向传播算法的变形
12．1　目的
12．2　理论和实例
12．2．1　BP算法的缺点
12．2．2　BP算法的启发式改进
12．2．3　数值优化技术
12．3　小结
12．4　例题
12．5　结束语
参考文献
习题
第13章　联想学习
13．1　目的
13．2　理论和实例
13．2．1　简单联想网络
13．2．2　无监督的Hebb规则
13．2．3　简单的识别网络
13．2．4　instar规则
13．2．5　简单回忆网络
13．2．6　outstar规则
13．3　小结
13．4　例题
13．5　结束语
参考文献
习题
第14章　竞争网络
14．1　目的
14．2　理论和实例
14．2．1　Hamming网络
14．2．2　竞争层
14．2．3　生物学意义上的竞争层
14．2．4　自组织特征图
14．2．5　学习向量量化
14．3　小结
14．4　例题
14．5　结束语
参考文献
习题
第15章　Grossberg网络
15．1　目的
15．2　理论和实例
15. 2．1　生物学的启发：视觉
15．2．2　基本非线性模型
15．2．3　两层竞争网络
15．2．4　与Kohonen规则的关系
15．3　小结
15．4　例题
15．5　结束语
参考文献
习题
第16章　自适应谐振理论
16．1　目的
16. 2　理论和实例
16．2．1　自适应谐振概述
16．2．2　第一层
16．2．3　第二层
16．2．4　调整子系统
16．2．5　学习规则：L1-L2
16．2．6　学习规则：L2-L1
16．2．7　ART1算法小结
16．2．8　其他ART体系结构
16．3　小结
16．4　例题
16．5　结束语
参考文献
习题
第17章　稳定性
17．1　目的
17．2　理论和实例
17．2．1　递归网络
17．2．2　稳定性概念
17．2．3　Lyapunov稳定性定理
17．2．4　单摆例子
17．2．5　LaSdlle不变性定理
17．3　小结
17．4　例题
17．5　结束语
参考文献
习题
第18章　Hopfield网络
18．1　目的
18．2　理论和实例
18．2．1　Hopfield模型
18．2．2　Lyapunov函数
18．2．3　增益效应
18．2．4　Hopfield网络设计
18．3　小结
18. 4　例题
18．5　结束语
参考文献
习题
第19章　结束语
19．1　目的
19．2　理论和实例
19．2．1　前馈和联想网络
19．2．2　竞争网络
19。2．3　动态联想存储器网络
19．2．4　神经网络的经典基础
19．2．5　参考书目和杂志
19．3　结束语
参考文献
附录A　文献目录
附录B　符号
附录C　软件
索引