模式识别1045K-L变换的BP神经网络分类器.doc

摘 要模式识别研究的目的是利用计算机对物理对象进行分类，在错误概率最小的条件下，使识别的结果尽量与客观物体相符合。机器辨别事物最基本的方法是计算，原则上讲是对计算机要分析的事物与标准模板的相似程度进行计算。本文的第二章和第三章分别介绍了模式识别系统的整个结构和有关概念。第四章就有关基于K-L变换的BP神经网络分类器的设计进行了探讨，从K-L变换原理和BP神经网络基本原理两个方面展开，最后给出运行的结果。关键词: 特征提取；分类器；BP神经网络；K-L变换；千万不要删除行尾的分节符，此行不会被打印。在目录上点右键“更新域”，然后“更新整个目录”。打印前，不要忘记把上面“Abstract”这一行后加一空行 第1章 绪论模式识别成为当代高科技研究重要领域之一，发展成为一门独立的新学科。模式识别技术迅速扩展，已经应用在人工智能、机器人、系统控制、遥感数据分析、生物医学工程、军事目标识别等领域，几乎遍及各个学科领域，在国民经济、国防建设、社会发展各个方面得到广泛应用，产生深远的影响。模式识别就是机器识别、计算机识别或机器自动识别，目的在于让机器自动识别事物。例如，手写数字的识别，结果就是将手写的数字分到具体的数字类别中；智能交通管理系统的识别，就是判断是否有汽车闯红灯，闯红灯的汽车车牌号码；还有文字识别、语音识别、图像中物体识别，等等。该学科研究的内容是使机器能做以前只能由人类才能做的事，具备人所具有的对各种事物与现象进行分析、描述与判断的部分能力。模式识别是直观的、无所不在的，实际上人类在日常生活的每个环节，都从事着模式识别的活动。人和动物较容易做到模式识别，但对计算机来说却是非常困难的。让机器能识别、分类，就需要研究识别的方法，这就是这门学科的任务。第2章 模式识别系统的组成一个典型的模式识别系统由数据获取、预处理、特征提取、分类决策及分类器设计五部分组成。一般分为上下两部分：上半部分完成未知类别模式的分类；下半部分属于分类器设计的训练过程，利用样品进行训练，确定分类器的具体参数，完成分类器的设计。而分类决策在识别过程中起作用，对待识别的样品进行分类决策。模式识别系统组成单元功能如下:(1)数据获取 用计算机可以运算的符号来表示所研究的对象，如二维图像、一维波形、物理参量和逻辑值。(2)预处理对输入测量仪器或其他因素所造成的退化现象进行复原、去噪声，提取有用信息。(3) 特征提取和选择对原始数据进行变换，得到最能反映分类本质的特征。将维数较高的测量空问转变为维数较低的特征空间。(4) 分类决策在特征空间中用模式识别方法把被识别对象归为某一类别。(5) 分类器设计基本做法是在样品训练集基础上确定判别函数，改进判别函数和误差检验。研究模式识别的主要目的是利用计算机进行模式识别，并对样本进行分类。第3章 模式识别的有关理论3.1 特征选择与提取特征选择与特征提取的任务是求出一组对分类最有效的特征。有效是指在特征维数减少到同等水平时，其分类性能最佳。3.1.1 特征选择在模式识别中特征选择是一个重要问题，直接从样品得到的数据量往往是相当大的。对一个具体问题来说，有以下两个不同的层次。(1) 物理量的获取与转换这是指用什么样的传感器获取电信号，对从传感器中得到的信号，可以称之为原始信息，因为它要经过加工、处理才能得到对模式分类更加有用的信号，为计算机分析打下基础。(2)描述事物方法的选择与设计在得到了原始信息之后，必须对原始信息进行加工，以获取对分类最有效的信息。设计所要信息的形式是十分关键的。3.1.2 特征提取假设已有D维特征向量空问，Y=y1，y2，yD，特征的组合优化问题涉及到特征选择和特征提取两部分。特征选择是指从原有的D维特征空问，删去一些特征描述量，从而得到精简后的特征空问。在这个特征空间中，样本由卵维的特征向量描述：X=xl，x2，xn，nX使样本新特征描述维数比原维数低。其中每个分量z，是原特征向量各分量的函数，即xi=A(yl，y2，yD)因此这两种降维的基本方法是不同的。在实际应用中可将两者结合起来使用，例如，先进行特征选择，指从原有的D维特征空间，删去一些特征描述量，从而得到精简后的特征空间，然后再进一步进行特征提取，或反过来操作。 3.2 分类器设计模式识别分类问题是指根据待识别对象所呈现的观察值，将其分到某个类别中去。具体步骤是建立特征空间中的训练集，已知训练集里每个点所属的类别，从这些条件出发，寻求某种判别函数或判别准则，设计判决函数模型，然后根据训练集中的样品确定模型中的参数，便可将这模型用于判别，利用判别函数或判别准则去判别每个未知类别的点应该属于哪一个类。在行维特征空间已经确定的前提下，讨论的分类器设计问题是一个选择什么准则、使用什么方法，将已确定的n维特征空间划分成决策域的问题。模式识别有多种方法：模板匹配法、判别函数法、神经网络分类法、基于规则推理法。1模板匹配将待分类样品与标准模板进行比较，看跟哪个模板匹配程度更好些，从而确定待测试样品的分类。而近邻法则在原理上属于模板匹配。它将训练样品集中的每个样品都作为模板，用测试样品与每个模板做比较，看与哪个模板最近似(即为近邻)，就按最近似的模板的类别作为自己的类别。2判别函数设计判别函数的形式有两种方法：基于概率统计分类法和判别函数分类法。(1)基于概率统计的分类法基于概率统计的分类法主要有基于最小错误率的贝叶斯决策、基于最小风险的贝叶斯决策。贝叶斯分类器可以用一般的形式给出数学上严格的分析证明：在给出某些变量的条件下，能使分类所造成的平均损失最小，或分类决策的风险最小。因此能计算出分类器的极限性能。贝叶斯决策采用分类器中最重要的指标错误率作为产生判别函数和决策面的依据，因此它给出了最一般情况下适用的“最优”分类器设计方法，对各种不同的分类器设计技术在理论上都有指导意义。(2)判别函数分类法由于一个模式通过某种变换映射为一个特征向量后，该特征向量可以理解为特征空间的一个点，在特征空间中，属于一个类的点集，总是在某种程度上与属于另一个类的点集相分离，各个类之间确定可分，因此如果能够找到一个判别函数(线性或非线性函数)，把不同类的点集分开，则分类任务就解决了。判别分类器不依赖于条件概率密度的知识，可以理解为通过几何的方法，把特征空间分解为对应于不同类别的子空问。而且呈线性的分离函数可以简化计算。分离函数又分为线性判别函数和非线性判别函数。3神经网络分类神经网络可以看成是从输入空间到输出空间的一个非线性映射，它通过调整权重和阈值来“学习”或发现变量问的关系，实现对事物的分类。由于神经网络是一种对数据分布无任何要求的非线性技术，它能有效解决非正态分布、非线性的评价问题，因而受到广泛的应用。由于神经网络具有信息的分布存储，并行处理以及自学习能力等特点，它在泛化处理能力上显示出较高的优势。4基于规则推理法通过样本训练集构建推理规则进行模式分类的方法主要有：决策树和粗糙集理论。决策树学习是以实例为基础的归纳学习算法。它着眼于从一组无次序、无规则的实例中推理出决策树表示形式的分类规则。决策树整体为一棵倒长的树，分类时，它采用自顶向下的递归方式，在决策树的内部结点进行属性值的比较，并根据不同属性判断从该结点向下的分支，在决策树的叶结点得到结论。第4章 基于K-L变换的BP神经网络分类器4.1 K-L变换原理K-L变换是一种基于目标统计特性的最佳正交变换。它具有一些优良的性质：即变换后产生的新的分量正交或者不相关；以部分新的分量表示原矢量均方误差最小；变换后的矢量更趋确定，能量更集中。这一方法的目的是寻找任意统计分布的数据集合之主要分量的子集。设n维矢量，其均值矢量，协方差阵，此协方差阵为对称正定阵，则经过正交分解克表示为,其中，为对应特征值的特征向量组成的变换阵，且满足。变换阵为旋转矩阵，再此变换阵下变换为,在新的正交基空间中，相应的协方差阵。通过略去对应于若干较小特征值的特征向量来给y降维然后进行处理。通常情况下特征值幅度差别很大，忽略一些较小的值并不会引起大的误差。 4.2 BP神经网络基本原理BP神经网络，即误差反传误差反向传播算法的学习过程，由信息的正向传播和误差的反向传播两个过程组成。输入层各神经元负责接收来自外界的输入信息，并传递给中间层各神经元；中间层是内部信息处理层，负责信息变换，根据信息变化能力的需求，中间层可以设计为单隐层或者多隐层结构；最后一个隐层传递到输出层各神经元的信息，经进一步处理后，完成一次学习的正向传播处理过程，由输出层向外界输出信息处理结果。当实际输出与期望输出不符时，进入误差的反向传播阶段。误差通过输出层，按误差梯度下降的方式修正各层权值，向隐层、输入层逐层反传。周而复始的信息正向传播和误差反向传播过程，是各层权值不断调整的过程，也是神经网络学习训练的过程，此过程一直进行到网络输出的误差减少到可以接受的程度，或者预先设定的学习次数为止。 BP神经网络模型BP网络模型包括其输入输出模型、作用函数模型、误差计算模型和自学习模型。 （1）节点输出模型 隐节点输出模型：Oj=f(WijXi-qj) 输出节点输出模型：Yk=f(TjkOj-qk) f-非线形作用函数；q -神经单元阈值。 （2）作用函数模型 作用函数是反映下层输入对上层节点刺激脉冲强度的函数又称刺激函数，一般取为(0,1)内连续取值Sigmoid函数： f(x)=1/(1+e) （3）误差计算模型 误差计算模型是反映神经网络期望输出与计算输出之间误差大小的函数： Ep=1/2(tpi-Opi) tpi- i节点的期望输出值；Opi-i节点计算输出值。 （4）自学习模型 神经网络的学习过程，即连接下层节点和上层节点之间的权重拒阵Wij的设定和误差修正过程。BP网络有师学习方式-需要设定期望值和无师学习方式-只需输入模式之分。自学习模型为 Wij(n+1)= h iOj+aWij(n) h -学习因子；i-输出节点i的计算误差；Oj-输出节点j的计算输出；a-动量因子。4.3 MATLAB具体实现代码clear% 原始数据导入shujv = load(D:模式识别大作业数据资源.txt);%求第一类样本均值for i = 1:150 for j = 1:4 w(i,j) = shujv (i,j+1); endendsumx = sum(w,1);for i=1:4 meanx(1,i)=sumx(1,i)/150;end%求样本协方差矩阵var=cov(w);v,latent,explained = pcacov(var);v=fliplr(v);%对特征向量按对应特征值从小到大排序v(:,1:2)=;%去掉最小特征值对应的特征向量w_k_l=w*v; %w_k_l为150*2矩阵M=30;for k=1:3 for i = 1:M x1(i+(k-1)*M,:)=w_k_l(i+(k-1)*50,:); d1(i+(k-1)*M,1)=abs(mod(k,2)-0.1); d1(i+(k-1)*M,2)=abs(floor(k/2)-0.1); endendx2(:,1:2)=x1;x2(:,3:4)=d1;%训练样本顺序打乱xd=x2(randperm(numel(x2)/4),:);x=xd(:,1:2);d=xd(:,3:4);P=x;T=d;net=newff(minmax(P),8,2,logsig logsig,trainrp);%purelin纯线性函数 trainrp用于模式识别速度较快net.trainparam.epochs=1000;net.trainparam.goal=0.0045;net=train(net,P,T);sim(net,P)N=50-M;for k=1:3 for i = 1 : N P_test(i+(k-1)*N,:) = w_k_l(i+(k-1)*50+M,:); endend% P_p,minp,maxp = premnmx(P_test);P_p=P_test;P_p=P_p;Y=sim(net,P_p)figuren1=0;n2=0;n3=0;%统计各组分类正确数for k=1:3 for i=1:N switch k case 1 plot(Y(1,i+(k-1)*N),Y(2,i+(k-1)*N),g+) if(Y(1,i)0.5 & Y(2,i)0.5) n1=n1+1; end case 2 plot(Y(1,i+(k-1)*N),Y(2,i+(k-1)*N),bs) if(Y(1,i+N)0.5) n2=n2+1; end case 3 plot(Y(1,i+(k-1)*N),Y(2,i+(k-1)*N),r*) if(Y(1,i+2*N)0.5 & Y(2,i+2*N)0.5) n3=n3+1; end end hold on endendhold onplot(0:0.001:1,0.5,-k )hold onplot(0.5,0:0.001:1,-k)axis(-0.2 1.2 -0.2 1.2)xlabel(Y(1)ylabel(Y(2)title(K-L变换的BP神经网络分类结果)4.4 运行结果运行结果如下：图4-1 分类结果图图4-2 误差性能曲线通过以上两种基于K-L变换的分类方法可以看到，该变换可以将样本的显著特征抽取出来，在降低特征数据的维数减少运算量和存储量的同时，分类结果基本不受影响，甚至在某些次优分类方法（BP神经网络）下可能优于未经变换处理进行的分类。 结 语 模式识别方法的选择取决于问题的性质。如果被识别的对象极为复杂，而且包含丰富的结构信息，一般采用句法方法；被识别对象不很复杂或不含明显的结构信息，一般采用决策理论方法。这