人工神经网络设计02人工神经网络构成

目录神经元模经元学习规则神经网络结构神经网络学习算法05神经网络性能分析

01人工神经元模型神经细胞是构成神经系统的基本单元，称之为生物神经元，简称神经元。生物神经系统中神经信息的运动，包括传导、整合、兴奋或抑制等，都是神经元机能的表现。细胞体:细胞核、细胞质和细胞膜树突：胞体短而多分枝的突起。相当于神经元的输入端轴突:胞体上最长枝的突起，也称神经纤维端部有很多神经末稍传出神经冲动突触:神经元间的连接接口，每个神经元约有1万10万个突触细胞膜电位:神经细胞在受到电的、化学的、机械的刺激后，能产生兴奋与抑制?生物神经元3

神经元通过其轴突的神经末稍，经突触与另神经元的树突联接，实现信息的传递。由于突触的信息传递特性是可变的，形成了神经元间联接的柔性，称为结构的可塑性。?生物神经元图2-1生物神经元结构01人工神经元模型4

?生物神经元功能兴奋与抑制:当传入神经元冲动，经整和使细胞膜电位升高，超过动作电位阈值时，为兴奋状态，产生神经冲动，由轴突经神经末稍传出。当传入神经元冲动，经整和使细胞膜电位降低，低于动作电位阈值时，为抑制状态，不产生神经冲动。2.学习与遗忘:由于神经元结构的可塑性，突触的传递作用可增强与减弱，因此，神经元具有学习与遗忘的功能。01人工神经元模型5

?MP模型1943年，美国心理学家WarrenMcCulloch和数理逻辑学家WalterPitts模拟生物神经元工作原理，提出了第一个人工神经元模型，称为MP模型，为神经网络的研究和发展奠定了基础。如图2-2所示，MP神经元模型是一个多输入／单输出的非线性信息处理单元。图中：x1，x2，…，xn代表神经元的n个输入。w1，w2，…，wn代表神经元的连接权值。01人工神经元模型图2-2MP模型6

第i个神经元的输出：其中f(u)为激活函数，也称为作用函数。设，则yi=f(ui)MP神经元模型中激活函数为单位阶跃函数，如图2-3所示：10uf(u)表达式为：?MP模型01人工神经元模型图2-3单位阶跃函数7

例如图所示，有一个两输入的MP神经元模型，输入为x1=2，x2=3，权值为w1=-1，w2=1，阈值θ=2时，试计算神经元输出。01人工神经元模型图2-4两输入MP神经元模型8

解：01人工神经元模型根据MP神经元工作原理，将输入、神经元权值和阈值带入式(2-1)中，神经元输出计算如下：又由于激活函数为单位阶跃函数，可得神经元输出为：W.McCulloch和W.Pitts在其发表的论文中指出，MP神经元模型可以计算任何算数或逻辑函数。9

?激活函数类型和作用神经元的激活函数是关于净输入的线性或非线性函数，不同的激活函数具有不同的信息处理特性，以下是几种常用的激活函数。01人工神经元模型(1)对称型阶跃函数阶跃函数是最简单的非线性函数之一，处理离散信号的神经元常常采用阶跃函数作为激活函数。阶跃函数在简单的二分类问题中十分有效。对称型阶跃函数与之性质相似，其函数图像如图2-5，可以表示为图2-5对称型阶跃函数10

01人工神经元模型(2)线性函数当激活函数为线性函数时，神经元计算效率较高，但由于线性函数无法引入非线性特性，在一定程度上会限制神经网络处理复杂和非线性问题的能力。线性函数图像如图2-6。(3)饱和线性函数饱和线性函数在特定的输入范围内表现出线性关系，超出范围时则趋于饱和，这种特性使得其能够有效控制输出范围。饱和线性函数特性如图2-7所示，可表示为图2-6线性函数图2-7饱和线性函数11

01人工神经元模型(4)对称饱和线性函数对称饱和线性函数特性与饱和线性函数特性相似，但在正负方向上具有对称性，函数图像如图2-8所示，可表示为(5)径向基函数径向基函数是一种沿径向对称的标量函数，具有对称性和平滑性，可以表示为其中，c为函数的中心，σ为函数的宽度。图2-9为径向基函数的特性。图2-8对称饱和线性函数图2-9径向基函数12

01人工神经元模型(6)Sigmoid函数Sigmoid函数，也称对数S型函数，可以将输入压缩到0和1之间。Sigmoid函数本身及其导数在定义域内都是连续可导的，引入非线性的同时计算相对简单。Sigmoid函数如图10a)所示，可以表示为Sigmoid函数也可表达为a)b)β控制曲线的斜率，当β=2时，其函数特性曲线如图10b)所示。图2-10Sigmoid函数13

01人工神经元模型(7)双曲正切函数双曲正切函数，也称对称型S函数，可以将输入压缩到-1和1之间。双曲正切函数能够在一定程度上缓解梯度消