自组织神经网络专家讲座

第四章自组织神经网络4.1竞争学习概念与原理4.2自组织特征映射神经网络自组织神经网络专家讲座第1页自组织神经网络经典结构第四章自组织神经网络竞争层输入层自组织神经网络专家讲座第2页第四章自组织神经网络自组织学习(self-organizedlearning)：

经过自动寻找样本中内在规律和本质属性，自组织、自适应地改变网络参数与结构。自组织网络自组织功效是经过竞争学习（competitivelearning）实现。

自组织神经网络专家讲座第3页4.1竞争学习概念与原理4.1.1基本概念分类——分类是在类别知识等导师信号指导下，将待识别输入模式分配到各自模式类中去。聚类——无导师指导分类称为聚类，聚类目标是将相同模式样本划归一类，而将不相同分离开。自组织神经网络专家讲座第4页相同性测量＿欧式距离法4.1.1基本概念自组织神经网络专家讲座第5页相同性测量＿余弦法4.1.1基本概念自组织神经网络专家讲座第6页4.1.2竞争学习原理竞争学习规则——Winner-Take-All网络输出神经元之间相互竞争以求被激活，结果在每一时刻只有一个输出神经元被激活。这个被激活神经元称为竞争获胜神经元，而其它神经元状态被抑制，故称为WinnerTakeAll。自组织神经网络专家讲座第7页竞争学习规则——Winner-Take-All1.向量归一化

首先将当前输入模式向量X和竞争层中各神经元对应内星向量Wj全部进行归一化处理；(j=1,2,…,m)自组织神经网络专家讲座第8页向量归一化之前自组织神经网络专家讲座第9页向量归一化之后自组织神经网络专家讲座第10页竞争学习原理竞争学习规则——Winner-Take-All2.寻找获胜神经元

当网络得到一个输入模式向量时，竞争层全部神经元对应内星权向量均与其进行相同性比较，并将最相同内星权向量判为竞争获胜神经元。欲使两单位向量最相同，须使其点积最大。即：自组织神经网络专家讲座第11页从上式能够看出，欲使两单位向量欧式距离最小，须使两向量点积最大。即：竞争学习规则——Winner-Take-All自组织神经网络专家讲座第12页竞争学习规则——胜者为王(Winner-Take-All)3.网络输出与权值调整j

j*

步骤3完成后回到步骤1继续训练，直到学习率衰减到0。自组织神经网络专家讲座第13页竞争学习几何意义☻自组织神经网络专家讲座第14页竞争学习几何意义

*

1Wˆ

*ˆjW

*

)](ˆ)(ˆ)[()(*ttttjpWXW-=hD

*┆

)(ˆ*1tj+W

)(ˆtpX

jWˆ

mWˆ

*

…

***自组织神经网络专家讲座第15页竞争学习游戏将一维样本空间12个样本分为3类自组织神经网络专家讲座第16页竞争学习游戏w1w2w3x训练样本集o1o1o1自组织神经网络专家讲座第17页例4.1用竞争学习算法将以下各模式分为2类：解：为作图方便，将上述模式转换成极坐标形式：竞争层设两个权向量，随机初始化为单位向量：自组织神经网络专家讲座第18页自组织神经网络专家讲座第19页自组织神经网络专家讲座第20页自组织神经网络专家讲座第21页自组织神经网络专家讲座第22页自组织神经网络专家讲座第23页自组织神经网络专家讲座第24页自组织神经网络专家讲座第25页自组织神经网络专家讲座第26页自组织神经网络专家讲座第27页自组织神经网络专家讲座第28页自组织神经网络专家讲座第29页4.2自组织特征映射神经网络

（Self-OrganizingfeatureMap）1981年芬兰Helsink大学T.Kohonen教授提出一个自组织特征映射网，简称SOM网，又称Kohonen网。Kohonen认为：一个神经网络接收外界输入模式时，将会分为不一样对应区域，各区域对输入模式含有不一样响应特征，而且这个过程是自动完成。自组织特征映射正是依据这一看法提出来，其特点与人脑自组织特征相类似。自组织神经网络专家讲座第30页SOM网生物学基础

生物学研究事实表明，在人脑感觉通道上，神经元组织原理是有序排列。所以当人脑经过感官接收外界特定时空信息时，大脑皮层特定区域兴奋，而且类似外界信息在对应区域是连续映象。对于某一图形或某一频率特定兴奋过程，神经元有序排列以及对外界信息连续映象是自组织特征映射网中竞争机制生物学基础。自组织神经网络专家讲座第31页SOM网拓扑结构

SOM网共有两层，输入层模拟感知外界输入信息视网膜，输出层模拟做出响应大脑皮层。

自组织神经网络专家讲座第32页SOM网权值调整域

SOM网获胜神经元对其邻近神经元影响是由近及远，由兴奋逐步转变为抑制，所以其学习算法中不但获胜神经元本身要调整权向量，它周围神经元在其影响下也要程度不一样地调整权向量。这种调整可用三种函数表示：自组织神经网络专家讲座第33页自组织神经网络专家讲座第34页SOM网权值调整域

以获胜神经元为中心设定一个邻域半径，该半径圈定范围称为优胜邻域。在SOM网学习算法中，优胜邻域内全部神经元均按其离开获胜神经元距离远近不一样程度地调整权值。

优胜邻域开始定得很大，但其大小伴随训练次数增加不停收缩，最终收缩到半径为零。自组织神经网络专家讲座第35页SOM网运行原理训练阶段w1w2w3

w4

w5自组织神经网络专家讲座第36页SOM网运行原理工作阶段自组织神经网络专家讲座第37页SOM网学习算法(1)初始化对输出层各权向量赋小随机数并进行归一化处理，得到，j=1,2,…m；建立初始优胜邻域Nj*(0)；学习率

赋初始值。(2)接收输入从训练集中随机选取一个输入模式并进行归一化处理，得到，p

{1,2,…,P}。(3)寻找获胜节点计算与点积，j=1,2,…m，从中选出点积最大获胜节点j*。(4)定义优胜邻域Nj*

(t)以j*为中心确定t时刻权值调整域，普通初始邻域Nj*

(0)较大，训练过程中Nj*

(t)随训练时间逐步收缩。Kohonen学习算法自组织神经网络专家讲座第38页Kohonen学习算法SOM网学习算法自组织神经网络专家讲座第39页(5)调整权值对优胜邻域Nj*(t)内全部节点调整权值：

i=1,2,…n

j

Nj*(t)式中，是训练时间t和邻域内第j个神经元与获胜神经元j*之间拓扑距离N

函数，该函数普通有以下规律：Kohonen学习算法SOM网学习算法自组织神经网络专家讲座第40页(5)调整权值(6)结束检验学习率是否衰减到零或某个预定正小数？Kohonen学习算法SOM网学习算法自组织神经网络专家讲座第41页Kohonen学习算法程序流程自组织神经网络专家讲座第42页功能分析(1)保序映射——将输入空间样本模式类有序地映射在输出层上。例1：动物属性特征映射。自组织神经网络专家讲座第43页功效分析自组织神经网络专家讲座第44页(2)数据压缩——将高维空间样本在保持拓扑结构不变条件下投影到低维空间。(3)特征抽取——高维空间向量经过特征抽取后能够在低维特征空间愈加清楚地表示。例2：SOM网用于字符排序。功效分析自组织神经网络专家讲座第45页自组织神经网络专家讲座第46页SOM网在皮革配皮中应用

要生产出优质皮衣，必须确保每件皮衣所用皮料在颜色和纹理方面相同性。在生产中，通常由有经验工人依据皮料颜色、纹理相近程度进行分类。这道称为“配皮”工序，因光照条件、工人经验不一样以及情绪、体力等原因改变影响，质量难于确保。计算机皮革检测与分类系统可对成批皮革颜色及纹理进行在线检测、特征值提取及快速分类，从而代替了传统手工操作，取得了良好效果。

自组织神经网络专家讲座第47页系统硬件组成CCD彩色摄像机解码器（PAL)图像采集卡及帧存储器计算机486/66彩色监视器打印机标准灯箱

皮革皮料传送带D65光源自组织神经网络专家讲座第48页基于SOM神经网络皮革聚类1.颜色纹理特征提取颜色参数:CIE1996均匀颜色空间值

l*,a*,b*纹理参数:梯度均值μ2,梯度标差σ2,及梯度墒T8。皮革外观由６维输入矢量

I=[l*,a*,b*,

μ2,σ2,T8]描述

自组织神经网络专家讲座第49页2.SOM神经网络设计网络结构:6输入1维线阵输出。聚类时每批100张皮，平均每件皮衣需要5～6张皮，所以将输出层设置20个神经元。每个神经元代表一类外观效果相同皮料，假如聚为一类皮料不够做一件皮衣，能够和相邻类归并使用。

基于SOM神经网络皮革聚类自组织神经网络专家讲座第50页3.网络参数设计

Nj*

(t)优胜邻域在训练开始时覆盖整个输出线阵，以后训练次数每增加Δt=tm/P，Nj*(t)邻域两端各收缩一个神经元直至邻域内只剩下获胜神经元。

对η(t)采取了以下模拟退火函数：η0＝0.95tm＝5000tp＝1500自组织神经网络专家讲座第51页4.皮革纹理分类结果

基于SOM神经网络皮革聚类自组织神经网络专家讲座第52页SOM网用于物流中心城市分类评价

(1)物流中心城市评价指标与数据样本简单项选择取5个评价指标作为网络输入：x1—人均GDP(元)，x2—工业总产值(亿元)，x3—社会消费品零售总额(亿元)，x4—批发零售贸易总额(亿元)，x5—货运总量(万吨)。

自组织神经网络专家讲座第53页44个物流中心城市分类评价样本

自组织神经网络专家讲座第54页SOM网用于物流中心城市分类评价

(2)物流中心城市分类和评价分析

物流中心城市

全国性物流中心城市区域性物流中心城市地域性物流中心城市综合型货运型自组织神经网络专家讲座第55页SOM网用于物流中心城市分类评价

(2)物流中心城市分类和评价分析

按照SOM算法步骤，取开始1000次迭代为排序阶段，学习率

=0.9；其后为收敛阶段，学习率为

=0.02。将44个数据样本归一化，输入网络进行训练。经过试验比较，最终取类别数为8，得到以下表所表示分类结果。自组织神经网络专家讲座第56页物流中心城市分类结果自组织神经网络专家讲座第57页上机试验说明任务：用平面网格状样本训练SOM网络权值初始化后输出平面自组织神经网络专家讲座第58页训练过程中输出平面自组织神经网络专家讲座第59页训练过程中输出平面自组织神经网络专家讲座第60页训练过程中输出平面自组织神经网络专家讲座第61页训练过程中输出平面自组织神经网络专家讲座第62页训