人工神经网络设计05Hopfield神经网络

目录离散型Hopfield神经网络010203连续型Hopfield神经网络应用实例

01离散型Hopfield神经网络?离散型Hopfield神经网络由于Hopfield早期提出的网络是二值型，所以该网络也称为离散Hopfield神经网络(discreteHopfieldneuralnetwork，简称DHNN)。DHNN具有丰富的动力学行为，适用于复杂的非线性系统，已经广泛地应用在不同的领域，如模式识别、图像处理和信号检测等方面。DHNN是一种单层的全反馈网络。各个神经元之间形成互连的结构，每个神经元的输出都成为其他神经元的输入，每个神经元的输入又来自其他神经元的输出，信息经过其他神经元后又反馈回自身，其网状结构如图5-1所示。图5-1Hopfield神经网络结构图3

01离散型Hopfield神经网络?离散型Hopfield神经网络结构与工作原理DHNN中的每个神经元将当前的输出通过连接权值反馈给所有的神经元，得到的结果作为下一时刻网络的输入。DHNN的模型如图5-2所示。图5-2离散Hopfield神经网络模型DHNN是二值网络，每个神经元具有1和-1(或1和0)两种状态，分别表示激活和抑制。如果神经元的输出大于阈值，则最终输出为1，否则，最终输出为-1。从输入到输出会产生一定的延时z-14

01离散型Hopfield神经网络对于有n个神经元的DHNN，第i个神经元在k时刻的状态可以表示为，并且，其中。第i个神经元经过网络运行后，该神经元节点的输出为，则可以表示为：式中，为外部输入，；表示第i个神经元与第j个神经元之间的连接权值。神经元节点的输出经过激活函数后作为k+1时刻网络的输出，即k+1时刻网络的状态，则第i个神经元在k+1时刻的状态为可以表示为：式中，为激活函数，DHNN在此选用符号函数，保证最终的输出为二值型。5

01离散型Hopfield神经网络DHNN的网络状态是所有神经元状态的集合，因此，网络状态可以采用矩阵形式表示。设整个网络在k时刻的状态为，则可以表示为：整个网络在k+1时刻的输出状态可以用表示为：式中，为权值矩阵。网络的工作方式有两种，包括异步工作方式和同步工作方式(1)同步工作方式网络的同步工作方式是一种并行方式，所有神经元同时调整状态，即6

01离散型Hopfield神经网络(2)异步工作方式网络的异步工作方式是一种串行方式。网络运行时每次只有一个神经元进行状态的调整计算，其它神经元的状态均保持不变，即神经元状态的调整次序可以按某种规定的次序进行，也可以随机选定。每次神经元在调整状态时，根据其当前净输人值的正负决定下一时刻的状态，因此其状态可能会发生变化也可能保持原状。下次调整其它神经元状态时，本次的调整结果即在下一个神经元的净输入中发挥作用。7

01离散型Hopfield神经网络反馈网络是一种能存储若干个预先设置的稳定点(状态)的网络。运行时，当向该网络作用一个起原始推动作用的初始输人模式后，网络便将其输出反馈回来作为下次的输入。经若干次循环(迭代)之后，在网络结构满足一定条件的前提下，网络最终将会稳定在某一预先设定的稳定点。网络达到稳定时的状态X，称为网络的吸引子，下面给出吸引子的定义。定义5-1若网络的状态X满足X=f(WX-B)，则称X为网络的吸引子。一个动力学系统的最终行为是由它的吸引子决定的，吸引子的存在为信息的分布存储记忆和神经优化计算提供了基础。如果把吸引子视为问题的解，那么从初态朝吸引子演变的过程便是求解计算的过程。?吸引子8

01离散型Hopfield神经网络?离散型Hopfield神经网络稳定性当任一初始状态输入DHNN中，经过有限次迭代，在某一有限时刻，网络的状态不再变化，则认为网络是稳定的。假设k时刻的网络状态为X(k)，如果在k+1时刻的网络状态X(k+1)，满足则DHNN是稳定的。1983年，Coben和Grossberg给出了Hopfield神经网络稳定的充分条件：当Hopfield神经网络的权值矩阵为对称矩阵，且对角线为0，则该网络是稳定的。式中，表示第i个神经元和第j个神经元之间的连接权值。9

01离散型Hopfield神经网络在动力学系统中，稳定状态是系统的某种形式的能量函数在系统运动过程中，其能量值不断减小，最后达到最小值。稳定的DHNN就是网络的能量函数达到最小。DHNN的