神经网络是计算智能和机器学习研究、开发和应用最活跃的分支之一。本书是神经网络 方面的标准教材，从理论和实际应用出发，全面、系统地介绍神经网络的基本模型、基本方法和基本技术，对神经网络的基本模型和主要学习理论都作了深入研究，特别在学习理论和 学习算法的推导方面有极为详尽而系统地分析，对神经网络的最新发展趋势和主要研究方向都进行了全面而综合的介绍。理论和实际应用紧密结合，为神经网络的具体应用打下坚实的 基础，是一本可读性极强的教材。
　　书中注重对数学分析方法和性能优化的讨论，强调神经网络在模式识别、信号处理以及 控制系统等实际工程问题中的应用。同时本书包含大量例题、习题，并配有1 3个基于MATLAB软件包的计算机试验的源程序。
　　本书适合作为相关专业研究生或本科高年级学生的教材，或作为希望系统、深入学习神 经网络的科技工作者的参考书。
　　神经网络是计算智能和机器学习研究的最活跃的分支之一。本书全面系统地介绍神经网 络的基本概念、系统理论和实际应用。
　　本书包含四个组成部分：导论，监督学习，无监督学习，神经网络动力学模型。导论部 分介绍神经元模型、神经网络结构和机器学习的基本概念和理论。监督学习讨论感知机学习规则，有监督的Hebb学习，Widrow-Hoff学习算法，反向传播算法及其变形，RBF网络，正则 化网络，支持向量机以及委员会机器。无监督学习包括主分量分析，自组织特征映射模型的竞争学习形式，无监督学习的信息理论，植根于统计力学的随机学习机器，最后是与动态规 划相关的增强式学习。神经网络动力学模型研究由短期记忆和分层前馈网络构成的动态系统，反馈非线性动态系统的稳定性和联想记忆，以及另一类非线性动态驱动的递归网络系统。
　　本书注重对数学分析方法和性能优化的讨论，强调神经网络在模式识别、信号处理和控制 系统等实际工程问题中的应用。书中包含大量例题和习题，并配有13个基于MATLAB软件的计算机实验程序。
　　本书适于作研究生或大学高年级学生的教材，也可作希望深入学习神经网络的科技人员的 参考书。

Simon Haykin 是加拿大McMaster大学教授．创办了通信研究实验室．并长期担任主任他是国际电子电气工程界的著名学者．于1953年获得英国伯明翰大学博士学位　曾获得IEEE McNaughton金奖。他是加拿大皇家学会院士，IEEE会士，在神经网络、通信、自适应滤波器等领域成果颇丰，著有多种标准教材。

神经网络，或者更精确地说人工神经网络，是一种植根于许多学科的技术，其中涉及神经科学、数学、统计学、物理学、计算机科学和工程学。神经网络具有的一个重要性质，即在有教师或无教师的情况下能够从输人数据中进行学习的能力，这使得它在不同领域中得到应用，如建模、时间序列分析、模式识别、信号处理和控制。
　　由于神经网络具有多学科性，本书对该主题进行了综合论述，并给出了大量例子、基于计算机的实验、习题以及参考文献进行补充分析。
　　本书由四部分组成，组织如下：
　　1．介绍材料，由第1章和第2章组成。第1章大体上定性描述什么是神经网络，它们的性质、组成及其怎样和人工智能相联系。这章以一些历史注释结束。第2章提供学习过程的许多侧面的概述及其统计性质。该章引进了一个重要概念，即Vapnik-Chervonenkis(VC)维数，用于度量学习机器所实现的一簇分类函数的容量。
　　2．有教师学习机器，由第3章至第7章组成。第3章研究这部分中最简单的神经网络：
涉及一个或多个输出神经元但无隐藏神经元的网络。该章描述最小均方(LMS)算法(在设计线性自适应滤波器时非常流行)和感知器收敛定理。第4章给出利用反向传播算法训练的多层感知器的完全处理。这个算法(代表LMS算法的一种推广)已经作为神经网络的推进器而出现。第5章给出另一类分层神经网络即径向基函数网络详细的数学处理，它们的构成包括一层基函数。这一章强调在设计RBF网络中正则化理论的作用。第6章描述一类比较新的学习机器，即支持向量机，它的理论建立在第2章给出的统计学习理论的材料上。本书第二部分以第7章结束，讨论委员会机器，它的构成包括几个学习者作为组成部分。在这一章我们描述总体平均，推举和分层混合专家三种不同的构建委员会机器的方法。
　　3．无教师学习机器，由第8章至第12章组成。第8章把Hebb学习应用到主分量分析。
第9章把自组织学习的另一形式，也就是竞争学习，应用于构造以自组织映射著称的计算映射。这两章突出强调学习规则根植于神经生物学。第10章注意于设计无监督学习算法的信息理论，强调它们在建模、图像处理和独立分量分析中的应用。第11章描述植根于和信息理论有密切关系的统计力学的自监督学习机器。第12章，介绍动态规划和它与增强式学习的关系。
　　4．非线性动态系统，由第13章至15章组成。第13章描述一类由短期记忆和分层前馈网络结构组成的动态系统。第14章强调涉及使用反馈的非线性动态系统所引起的稳定性问题。该章还讨论联想记忆的例子。第15章描述另一类非线性动态系统，即递归网络，它依赖于使用反馈完成输入—输出映射。
　　本书后记简要描述神经网络在构造用于模式识别、控制和信号处理的智能机器时所起的作用。
　　本书的组织在神经网络研究生课程的使用上给予了很大灵活性，教师可根据需要灵活选择讲课内容。全书中总共包括15个基于计算机的实验，其中有13个实验需使用MATLAB。
　　MATLAB实验的文件可直接从以下网站下载：
　　ftp：／／ftp．mathworks．com／pub／books／haykin
　　http：／／www．mathworks．com／books／
　　每章后都附有习题。许多习题具有挑战性，不仅能检查本书的使用者对本书所包含的资料掌握的程度，而且扩充了这些资料。
　　工程师、计算机科学家和物理学家也会从本书获益。希望本书对其他学科，如心理学和神经科学的研究人员，也会有所帮助。
　　Simon Haykin
　　于Hamilton，Ontario
　　1998年2月

Simon Haykin：Simon Haykin: 于1953年获得英国伯明翰大学博士学位。加拿大McMaster大学教授，创办了通信研究实验室并长期担任主任。他是国际电子电气工程界的著名学者，曾获得IEEE McNaughton金奖。他是加拿大皇家学会院士，IEEE会士，在神经网络、通信、自适应滤波器等领域成果颇丰，著有多种标准教材。

叶世伟 史忠植：暂无简介

神经网络系统研究的重要意义已为许多科学家所承认，它是智能计算发展的一个主流方向。20世纪80年代中期以来，神经网络重新引起了许多科技工作者的兴趣，形成近代非线性科学和计算智能研究的主要内：容之一。特别是神经网络经历了新近20年的迅速发展，它所具备的独特知识表示结构和信息处理的原则，使其在许多应用领域取得了显著的进展，能够为解决一些传统计算机极难求解的问题提供满意的解，或者为寻求满意解提供全新的思路。
　　神经网络由于其信息处理机制和成功应用，实际上已成为智能信息处理的主要技术之一。世界上许多知名大学开设了神经网络的研究生专门课程。在中国，多年以来神经网络也被纳入许多著名大学的研究生课程，使得神经网络这个信息处理工具逐渐为许多智能信息处理工作者所掌握。
　　在神经网络理论日渐成熟，它的应用逐渐扩大和深入的形势下，如何把握神经网络的研究方向，面向应用和面向广大神经网络的应用者和研究者，介绍神经网络的系统理论和最新发展，成为神经网络课程教学面临的重大挑战。其中如何挑选好的教材成为关键的第一步。
目前国内已有的一些神经网络教材，其内容还停留在国际上神经网络上世纪90年代初期的发展水平。纵观神经网络发展的历史，特别是近20年发展的历史，我们可以发现神经网络的理论和学习算法越来越面向信息处理，它们和生物智能方面建立联系的同时，统计理论、信息理论以及函数空间理论方面的联系日趋紧密。这些方面从最近10年的发展看得更清楚。
　 不管是从独立分量分析、支持向量机网络、正则化网络和高斯过程，还是从徐雷教授的阴阳机学习理论，我们都可以发现神经网络的发展目标就是成为智能信息处理的核心工具之一。这一点在模式识别领域已成为现实。作为神经网络的研究生教材应该反映神经网络的这一鲜明特征，但目前国内出版的多数教材尚难达到这一要求。这本书正是反映了神经网络研究的主流发展方向和最新研究内容，所以自出版以来就成为许多国际知名大学的神经网络研究生教材，受到教师和学生们的广泛赞誉。
　　本书主要讲述神经网络的基本概念，介绍实用的网络模型和学习算法。全书分为15章，内容涵盖神经网络理论导论、监督学习、无监督学习和神经网络动力学模型。神经网络导论包括神经元模型和网络结构、机器学习的基本理论。监督学习包括感知机学习规则、有监督的Hebb学习、Widrow-Hoff学习算法、反向传播算法及其变形、RBF网络、正则化网络、支持向量机网络和委员会机器。无监督学习包括主分量分析、自组织特征映射、用于无监督学习的信息理论、植根于统计力学的随机学习机器和增强式学习。神经动力学模型包括嵌入短
时记忆的分层前馈网络动力系统、递归网络的稳定性和学习问题及其在联想记忆中的应用。书中注重对数学分析方法和性能优化的讨论，强调神经网络在模式识别、信号处理以及控制系统等实际工程问题中的应用。同时本书包含大量例题和习题，并配有13个基于MATLAB软件的计算机实验的源程序。
　　清华大学出版社已经出版本书的影印版，这使得中国的学生有幸直接阅读英文原版教材。但是译者在中国科学院研究生院使用本书影印版作为教材讲授神经网络的过程中发现，一方面由于研究生课时的限制，在一学期内全部讲授本书内容极其困难，所以只能选择其中一些内容讲授；另一方面，由于本书材料非常丰富及其完整性，部分讲解书中内容对于系统学习和掌握神经网络的原理和研究方法是不利的，而初学者要完整阅读本书原文困难也很大。另外，由于神经网络的应用逐渐深入和扩大，许多学习神经网络的其他读者其实仅仅需
了解神经网络的基本原理和系统方法，他们学习神经网络的目的是为了从中找到具体应用领域的解决方法或者获得解决问题的新思路。对于他们而言，直接阅读原著是不现实的，而且没有必要。基于上述原因，翻译出版本书是很有必要的。
　　由于神经网络的迅速发展，许多神经网络的新名词和概念还没有确定的中文翻译，所以在本书中凡是我们认为不能完全确定的名词或术语都在其第一次出现的地方给出对应的英语词汇，有一些地方甚至直接引用英语词汇本身。最后在书后还有中英文对照索引。
　　在这本书的翻译中，我们力求忠实、准确地反映原著的内容，同时也力求保留原著的风格。但由于神经网络属于多学科交叉领域，研究范围很广，近年来研究成果层出不穷，而且译者水平有限，书中错误和不准确之处在所难免，恳请读者批评指正。
致　谢
　　本书的翻译得到了中国科学院研究生院院长基金的资助(项目编号YZJJ200206)。
　　在这里，我们要感谢机械工业出版社华章分社组织翻译出版这本重要著作，感谢编辑们的细心加工和修改，没有这些本书的出版是不可想像的。感谢中国科学院研究生院2001级和2002级选修神经网络课程的研究生，正是他们的需求才促使我们翻译这本教材。同时我们还要感谢中国科学院计算技术研究所智能信息处理重点实验室的支持。
　　译　者
　　2003年5月于北京

第1章　导言
1．1　什么是神经网络
1．2　人脑
1．3　神经元模型
1．4　看作有向图的神经网络
1．5　反馈
1．6　网络结构
1．7　知识表示
1．8　人工智能和神经网络
1．9　历史注释
注释和参考文献
习题
第2章　学习过程
2．1　简介
2．2　误差修正学匀
2．3　基于记忆的学习
2．4　Hebb学习
2．5　竞争学习
2．6　Boltzmann学习
2．7　信任赋值问题
2．8　有教师学习
2．9　无教师学习
2．10　学习任务
2．11　记忆
2．12　自适应
2．13　学习过程的统计性质
2．14　统计学习理论
2．15　可能近似正确的学习模型
2．16　小结和讨论
注释和参考文献
习题
第3章　单层感知器
3．1　简介
3．2　自适应滤波问题
3．3　无约束最优化技术
3．4　线性最小二乘滤波器
3．5　最小均方算法
3．6　学习曲线
3．7　学习率退火进度
3．8　感知器
3．9　感知器收敛定理
3．10　Gauss环境下感知器与Bayes分类器
的关系
3．11　小结和讨论
注释和参考文献
习题
第4章　多层感知器
4．1　简介
4．2　预备知识
4．3　反向传播算法
4．4　反向传播算法小结
4．5　异或问题
4．6　改善反向传播算法性能的试探法
4．7　输出表示和决策规则
4．8　计算机实验
4．9　特征检测
4．10　反向传播和微分
4．11　Hessian矩阵
4．12　泛化
4．13　函数逼近
4．14　交叉确认
4．15　网络修剪技术
4．16　反向传播学习的优点和局限
4．17　反向传播学习的加速收敛
4．18　作为最优化问题看待的有监督
学习
4．19　卷积网络
4．20　小结和讨论
注释和参考文献
习题
第5章　径向基函数网络
5．1　简介
5．2　模式可分性的Cover定理
5．3　插值问题
5．4　作为不适定超曲面重建问题的监督
学习
5．5　正则化理论
5．6　正则化网络
5．7　广义径向基函数网络
5．8　XOR问题(再讨论)
5．9　正则化参数估计
5．10　RBF网络的逼近性质
5．11　RBF网络与多层感知器的比较
5．12　核回归及其与RBF网络的关系
5．13　学习策略
5．14　计算机实验：模式分类
5．15　小结和讨论
注释和参考文献
习题
第6章　支持向量机
6．1　简介
6．2　线性可分模式的最优超平面
6．3　不可分模式的最优超平面
6．4　怎样建立用于模式识别的支持向量机
6．5　例子：XOR问题(再讨论)
6．6　计算机实验
6．7　-不敏感损失函数
6．8　用于非线性回归的支持向量机
6．9　小结和讨论
注释和参考文献
习题
第7章　委员会机器
7．1　简介
7．2　总体平均
7．3　计算机实验1
7．4　推举
7．5　计算机实验Ⅱ
7．6　联想Gauss混合模型
7．7　分层混合专家模型
7．8　使用标准决策树的模型选择
7．9　先验和后验概率
7．10　最大似然估计
7．11　HME模型的学习策略
7．12　EM算法
7．13　EM算法在HME模型中的应用
7．14　小结和讨论
注释和参考文献
习题
第8章　主分量分析
8．1　简介
8．2　自组织的一些直观原则
8．3　主分量分析
8．4　基于Hebb的最大特征滤波器
8．5　基于Hebb的主分量分析
8．6　计算机实验：图像编码
8．7　使用侧向抑制的自适应主分量分析
8．8　两类PCA算法
8．9　计算的集中式方法和自适应方法
8．10　核主分量分析
8．11　小结和讨论
注释和参考文献
习题
第9章　自组织映射
9．1　简介
9．2　两个基本的特征映射模型
9．3　自组织映射
9．4　SOM算法小结
9．5　特征映射的性质
9．6　计算机仿真
9．7　学习向量量化
9．8　计算机实验：自适应模式分类
9．9　分层向量量化
9．10　上下文映射
9．11　小结和讨论
注释和参考文献
习题
第10章　信息论模型
10．1　简介
10．2　熵
10．3　最大熵原则
10．4　互信息
10．5　Kullback-Leibler散度
10．6　互信息作为最优化的目标函数
10．7　最大互信息原则
10．8　最大互信息和冗余减少
10．9　空间相干特征
10．10　空间非相干特征
10．11　独立分量分析
10．12　计算机实验
10．13　最大似然估计
10．14　最大熵方法
10．15　小结和讨论
注释和参考文献
习题
第11章　植根于统计力学的随机机器和它们的逼近
11．1　简介
11．2　统计力学
11．3　Markov链
11．4　Metropolis算法
11．5　模拟退火
11．6　Gibbs抽样
11．7　Boltzmann机
11．8　sigmoid信度网络
11．9　Helmholtz机
11．10　平均场理论
11．11　确定性的Boltzmann机
11．12　确定性的sigmoid信度网络
11．13　确定性退火
11．14　小结和讨论
注释和参考文献
习题
第12章　神经动态规划
12．1　简介
12．2　Markov决策过程
12．3　Bellman最优准则
12．4　策略迭代
12．5　值迭代
12．6　神经动态规划
12．7　逼近策略迭代
12．8　Q-学习
12．9　计算机实验
12．10　小结和讨论
注释和参考文献
习题
第13章　使用前馈网络的时序处理
13．1　简介
13．2　短期记忆结构
13．3　用于时序处理的网络体系结构
13．4　集中式时滞前馈网络
13．5　计算机实验
13．6　通用短视映射定理
13．7　神经元的时空模型
13．8　分布式时滞前馈网络
13．9　时序反向传播算法
13．10　小结和讨论
注释和参考文献
习题
第14章　神经动力学
14．1　简介
14．2　动态系统
14．3　平衡状态的稳定性
14．4　吸引子
14．5　神经动态模型
14．6　作为递归网络范例的吸引子操作
14．7　Hopfield模型
14．8　计算机实验I
14．9　Cohen-Grossberg定理
14．10　盒中脑状态模型
14．11　计算机实验Ⅱ
14．12　奇异吸引子和混沌
14．13　动态重构
14．14　计算机实验Ⅲ
14．15　小结和讨论
注释和参考文献
习题
第15章　动态驱动的递归网络
15．1　简介
15．2　递归网络体系结构
15．3　状态空间模型
15．4　有外部输入的非线性自回归模型
15．5　递归网络的计算能力
15．6　学习算法
15．7　通过时间的反向传播
15．8　实时递归学习
15．9　Kalman滤波器
15．10　解藕扩展的Kalman滤波器
15．11　计算机实验
15．12　递归网络的消失梯度
15．13　系统辨识
15．14　模型参考自适应控制
15．15　小结和讨论
注释和参考文献
习题
后记
参考文献
索引