《Hopfield网络》PPT课件.ppt

1、第五章霍普菲神经网络，1985年，j.j.Hopfield和D.W.Tank创建了称为hop field Neural Network(HNN)的互连神经网络模型，前几章介绍的神经网络模型属于全方位神经网络，从学习的角度来看，它们是强大的学习系统。从系统角度来看，它们属于静态非线性映射，通过简单非线性处理单元的复合映射，可以获得复杂的非线性处理能力，但由于反馈不足，所以不是强大的动力学系统。Hopfield模型是反馈神经网络，在计算方面具有强大的计算能力。这种系统侧重于系统的稳定性问题。稳定性是具有联想记忆功能的神经网络模型的核心，学习记忆的过程是系统稳定发展的过程。Hopfield网络可用于

2、解决联想内存和约束最优化问题。反馈神经网络非线性动力学系统，可以表示稳定性、极限环、奇异吸引子(混沌)等多种动态特性。这种特性是引起神经网络研究者极大兴趣的原因之一。研究表明，由简单的非线性神经元互连组成的反馈动力学神经网络系统具有两个茄子重要特征。1.系统有几个茄子稳定的状态，在初始状态下开始运动，系统总是可以进入这些稳定状态之一。2.系统的稳定状态可以通过改变各个神经元之间的连接权重来实现。Hopfield神经网络设计和应用的核心是对动态特性的准确理解。网络稳定性是其重要性，能源函数是决定网络稳定性的基本概念。网络结构形式，Hopfield网络可以分为单层对称整体反馈网络，鼓励函数选择，离

3、散和连续性两个茄子(DHNN，CHNN)。DHNN:角色函数函数，主要用于联想内存。CHNN:作用函数S型函数，主要是计算最优化，非线性系统状态演化格式，Hopfield网络，由于反馈存在，权重输入和ui，i=1n是网络状态，网络输出是y1yn，u，y的变化过程是非线性动力学系统。可以用非线性差分(微)分方程来解释。一般来说，有以下状态进化形式：(1)逐步稳定(2)阈值环(3)混沌现象(4)状态轨迹发散、网络结构和I/O关系、符号函数激励函数网络、网络方程可写为图2.8.2，其中Wii0没有自我反馈，相反是完全自我反馈，两个茄子牙齿变化的神经元可以按随机方式或预定顺序选择。(2)在并行工作方式

4、的某一时刻，存在N个神经元更改状态，其他神经元输出保持不变。变化的牙齿神经元集可以根据随机方法或任何规则进行选择。如果N=n，则称为完全并行方法。您可以检视DHNN的稳定工作点、DHNN的状态切换、Hopfield网络模型定义中n节点的HNN的2n个可能状态。也就是说，网络状态可以是包含0和1牙齿的向量，表示每个时间点的整体网络状态。状态更改使用随机异步更新方法。也就是说，随机选择下一个要更新的神经元，并更新所有神经元节点状态包括三种茄子情况，从0到1，从1到0，保持状态不变。根据单位异步更新的工作方式，仅选择其中一个网络的节点进行状态更新，如果节点状态发生更改，网络状态将从一个概率切换到另一

5、个状态。在节点状态保持不变的情况下，网络状态更新结果将保持以前时间点的状态。DHNN的状态切换，通常从网络初始状态开始多次更新后才能达到稳定状态。使用异步状态更新策略的优点是：(1)算法实现容易，每个神经元节点都有其自己的状态更新时间点，不需要同步机制。(2)通过串行方式更新网络状态，可以限制网络输出状态，防止徐璐其他稳定以等概率出现。给定HNN的权重和神经元阈值后，确定网络状态切换序列。DHNN的状态切换(例如图3节点HNN的状态切换关系计算)网络参数：现在以默认状态(任意选择)v1v2v3(000)为例，异步执行网络，调查每个节点的状态切换状态。现在考虑选择每个节点v1v2v3牙齿等概率(

6、13)。节点v1牙齿如果先选定，则节点状态将从(000)变为(100)，如果切换概率为I3，则假定先选定节点v2。节点状态从(000)更改为(000)，网络状态从(000)更改为(000)(如果先选择节点v3牙齿，节点状态将从(000)更改为(000)，切换概率为13。如上网络操作所示，网络状态(000)没有迁移到(010)和(001)，转换到(100)的概率，23的概率保持不变，因此可以如下计算不同状态之间的切换关系：图显示状态不变的切换概率，其余未标记的都是13。DHNN的状态转换显示了两个茄子重要特征：(1)状态(110)是先前定义的稳定状态。(2)从初始状态开始，有限状态更新后，网络状

7、态达到稳定状态。Hopfield网络是一种反馈动力学系统，稳定性是这种系统的重要特征。此类模型具有以下稳定性标准：当网络操作以串行方式进行时，如果W是对称的，对角元素音不是负数，那么能量函数单调下降，网络总是收敛到稳定点。DHNN的能量函数，上例中的状态转移关系是在任何状态下从同一“高度”变化或从上到下转移的规律。Hopfield网络模型是具有多个输入、多个输出、阈值的双状态非线性动力学系统。在一定的参数条件下，能源函数在网络运行过程中不断下降，最终处于稳定平衡状态。以能源函数为网络计算的牙齿分析工具称为计算能源函数。Hopfield网络状态更改分析的核心是为每个网络状态定义能源E。如果神经元

8、节点状态发生变化，能量值将减小。假设第I个神经元节点状态VI的变化量以Ei记录VI对应的能量变化量。所谓能源Ei随着状态的变化而减少，意味着Ei总是负数。考察两种茄子情况：(1)状态VI从0变为1时，VI 0。(2)如果状态VI从1更改为0，则VI 0。根据DHNN的能量函数，能量变化量为负的思维方式，能量变化量Ei可以因此表示为节点I的能量。显然，E是通过以某种方式汇总所有Ei而得到的。也就是说，表达式中出现的12个元素。这是因为在离散Hopfield网络模型中，wij=wji(例如，直接e计算)为Ei中的每个项目计算了两次。在上例中，三节点的网络节点能量，DHNN的能量函数，DHNN的能量

9、函数，如上所定义，(1)在离散Hopfield模型状态更新期间，能量函数E根据状态变化严格单调地减少。(2)离散Hopfield模型的稳定状态对应于状态空间中能量函数E的局部极值点。在上例中，各状态的能量是DHNN的能量函数，显然，v1v2v3(110)状态的能量最小。下图右侧的数字变化显示了能量单调下降的相应状态。从任意初始状态开始，将状态更新为网络能量减少(包括相同级别的能量)的方向，最终其能量可能达到极小的稳定度。计算DHNN的能量函数，如运行图中所示的4节点模型和每个状态的能量。给定的初始状态为v(0)1，0，1，0。首先计算E(0)以获得E(0)1.0主迭代。v1(1)SGN(2.8

10、-6.3)=SGN(-3.5)=0 v2(1)SGN(-3.1-5.9-(-9.6)=SGN(1.3)=1 v4(2)SGN(-1.2-5.9-(-9.6)=SGN(2.5)=1e(2)-14.0，为了便于检查，每种状态的能量列表如下：网络稳定状态的能量最小为-14。网络能量极小状态是网络稳定平衡状态。能量极小点的存在为信息的分布式存储内存、优化计算提供了基础。将记忆的样本信息徐璐存储在其他能量极小点上，在输入图案时，网络将相关存储样本“联想记忆”，从而实现联想记忆。DHNN能量极值点设计、网络能量极值点选择和设定时，网络功能才起作用。能量极值点分布由网络连接权重和阈值确定。因此，设计能量极值

11、点的关键是如何获得相应的参数值集。您可以从两种茄子方法中选择。(1)根据故障诊断的要求，自行设计所需的连接值。(2)网络培训，通过提供的附加机制自动调整连接权重，最大限度地减少所需能源。前者是静态学习方法，对于特定应用程序，权重矩阵是固定矩阵，如TSP解析等。后者是动态学习方法，如联想记忆。DHNN能量极值点设计(例如三节点Hopfield网络)假设需要设计的能量极值点为状态v1v2v3(010)和v1v2v3(111)，且网络参数(加权、灰色值)的值范围为-1。对于状态A，V1v2v3(010)必须满足以下不等式，对于状态A，节点激励函数(节点激励函数)必须满足以下不等式：对于状态B，可以使

12、用节点激励(DHNN能量极值点设计，上面的不等式组)解决6个未知不等式。假定W120.5，(a)样式、0.511、(d)样式、0.2w13 1、(b)样式、-120、2-0 3还满足(f)样式。因此，确定了一组权重和阈值。w120.5、w130.4、w230.1 10.7、2-0.2和30.4可以确认由牙齿参数组组成的Hopfield网络组对于所有启动状态始终达到所需的正常状态A和正常状态B，DHNN能量。因此，选择的参数集可以满足能量极值点设计的要求，但也可以在设计中生成不需要的能量极值点。例如，选定的权重和阈值为w12-0.5、w130.5、w230.4在中，1-0.1、2-0.2，30.

13、4可以确认也满足(a) 1 (f)不等式组，但是在由牙齿参数组组成的Hopfield网络组中，可以看到预期(010)和(；DHNN能量极小的设计，可用于DHNN的学习和联想内存，以及Hopfield网络联想内存。在计算中使用时，加权矩阵被指定为W以查找具有最小能量E的网络稳定性状态。作为记忆的学习中，给出了稳定状态，通过网络学习找到了合适的权矩阵W(对称矩阵)。一旦学习完成，就用计算方式联想。前面的设计能量极值点是根据问题的要求，手工计算出一套网络参数。(威廉莎士比亚，温斯顿，能源，能源，能源，能源，能源，能源)网络学习是通过一定的学习算法自动获得必要的参数。对于Hopfield网络，可以采用

14、Hebb学习规则和基于错误的学习算法。DHNN的学习和联想内存，以及使用DHNN实现联想内存，需要考虑两个茄子重要问题：如何根据记忆确定网络W。网络给定后内存容量的分析方法。1、权重的设计方法2、内存容量分析3、权重修改的其他方法、权重的设计方法、权重的设计方法等。外积法(Hebb学习规则):相对简单，在特定条件下有效的方法。根据上述规则求出权重矩阵后，网络已经在网络连接圈中存储了模式。在联想的过程中，首先提供网络，动态运行为网络方程，最后提供一种初始状态以达到稳定状态。如果牙齿稳定状态对应于网络存储模式，则模式由模式连接。示例4对于神经元网络，采用阈值0。给定的两个茄子样式在网络中为m1:

15、v (1) v1、v2、v3、v41、1、1、1 m2: v (2) v1、v2、v3、v4-1、-;1；联想模式：MB: V (B)-1，-1，-1，1表示另一种稳定状态：V(2)-1，-1，-1，-1，-1设计的网络解释说他们不准确地记住所有预计的模式。因此，Hopfield网络联想内存受内存容量和示例差异的限制。内存模式少，模式之间的差异大，联想结果准确。需要记忆的模式多容易混淆，网络到达的稳定状态往往不是记忆的模式。此外，当需要内存的模式更接近时，网络(WHO)无法识别正确的模式，甚至可能错误地认为自己。也就是说，如果使用记忆的模式作为联想模式(自己的联想模式)，则会发生错误。当只记住内存容量分析、网络、稳定的模式时，牙齿模型肯定会被网络精确的内存记住。但是，当需要记住的模式增加时，情况会发生变化。主要出现在以下两个茄子点上：1、权重移动2、交叉碰撞、权重移动。在网络学习过程中，对网络权重的记忆实际上是逐一实现的。也就是说，在加权W的情况下，在网络节目：牙齿正确内存X1时，为了记住X2，必须将示例X2的内存项X2 X2T-I添加到内存示例X1的权重