人工智能-4-北京化工大学

第4章神经计算

信息科学与生命科学的相互交叉、相互渗透和相互促进是现代科学技术发展的一个显著特点。计算智能涉及神经网络、模糊逻辑、进化计算和人工生命等领域，它的研究和发展正是反映了当代科学技术多学科交叉与集成的重要发展趋势。基本概念什么叫人工神经网络（ArtificialNeuralNetwork

）采用物理可实现的系统来模仿人脑神经细胞的结构和功能的系统。为什么要研究神经网络用计算机代替人的脑力劳动。计算机速度为纳秒级，人脑细胞反应时间是毫秒级。而计算机不如人。长期以来人类的梦想，机器既能超越人的计算能力，又有类似于人的识别、分析、联想等能力。生物神经元神经细胞是构成神经系统的基本单元，称之为生物神经元，或者简称为神经元。神经元主要由三个部分组成：细胞体、轴突、树突。生物神经元细胞体：由细胞核、细胞质、细胞膜等组成。它是神经元的新陈代谢中心，同时还用于接收并处理从其它神经元传递过来的信息。细胞膜内外有电位差，称为膜电位，膜外为正，膜内为负，大小约为几十微伏。细胞膜通过改变对Na+、K+、Cl-等离子的通透性从而改变膜电位。膜电压接受其它神经元的输入后，电位上升或者下降。若输入冲动的时空整合结果使膜电位上升，并超过动作电位阈值时，神经元进入兴奋状态，产生神经冲动，由轴突输出。若整合结果使膜电位下降并低于动作电压阈值时，神经元进入抑制状态，无神经冲动输出。生物神经元轴突(Axon)：细胞体向外伸出的最长的一条分枝，即神经纤维，相当于神经元的输出端。一般一个神经元只有一个轴突，有个别神经元没有。树突(Dendrite)：细胞体向外伸出的除轴突之外其它分枝。一般较短，但分枝很多，相当于神经元的输入端。生物神经元突触(Synapse)：生物神经元之间的相互连接从而让信息传递的部位被称为突触。突触按其传递信息的不同机制，可分为化学突触和电突触、其中化学突触占大多数，其神经冲动传递借助于化学递质的作用。突触的信息传递只能从突触前到突触后，不存在反向活动的机制，因此突触传递是单方向的。根据突触后膜电位电位的变化，突触可分为两种：兴奋性突触和抑制性突触。神经元对信息的接受和传递都是通过突触来进行的。单个神经元可以从别的细胞接受多达上千个的突触输入。这些输入可达到神经元的树突、胞体和轴突等不同部位，但其分布各不相同，对神经元的影响也不同。突触的信息传递特性可变，因此细胞之间的连接强度可变，这是一种柔性连接，也称为神经元结构的可塑性。生物神经元突触结构突触传递过程人脑神经系统的特征（1）

从信息系统研究的观点出发，对于人脑这个智能信息处理系统，有如下一些固有特征：(1)并行分布处理的工作模式。实际上大脑中单个神经元的信息处理速度是很慢的，每次约1毫秒(ms)，比通常的电子门电路要慢几个数量级。每个神经元的处理功能也很有限，估计不会比计算机的一条指令更复杂。但是人脑对某一复杂过程的处理和反应却很快，一般只需几百毫秒。例如要判定人眼看到的两个图形是否一样，实际上约需400ms，而在这个处理过程中，与脑神经系统的一些主要功能，如视觉、记亿、推理等有关。按照上述神经元的处理速度，如果采用串行工作模式，就必须在几百个串行步内完成，这实际上是不可能办到的。因此只能把它看成是一个由众多神经元所组成的超高密度的并行处理系统。例如在一张照片寻找一个熟人的面孔，对人脑而言，几秒钟便可完成，但如用计算机来处理，以现有的技术，是不可能在短时间内完成的。由此可见，大脑信息处理的并行速度已达到了极高的程度。人脑神经系统的特征（2）

(2)神经系统的可塑性和自组织性。神经系统的可塑性和自组织性与人脑的生长发育过程有关。例如，人的幼年时期约在9岁左右，学习语言的能力十分强，说明在幼年时期，大脑的可塑性和柔软性特别良好。从生理学的角度看，它体现在突触的可塑性和联接状态的变化，同时还表现在神经系统的自组织特性上。例如在某一外界信息反复刺激下。接受该信息的神经细胞之间的突触结合强度会增强。这种可塑性反映出大脑功能既有先天的制约因素，也有可能通过后天的训练和学习而得到加强。神经网络的学习机制就是基于这种可塑性现象，并通过修正突触的结合强度来实现的。(3)信息处理与信息存贮合二为一。大脑中的信息处理与信息存贮是有机结合在一起的，而不像现行计算机那样，存贮地址和存贮内容是彼此分开的。由于大脑神经元兼有信息处理和存贮功能，所以在进行回亿时，不但不存在先找存贮地址而后再调出所存内容的问题，而且还可以由一部分内容恢复全部内容。人脑神经系统的特征（3）

(4)信息处理的系统性大脑是一个复杂的大规模信息处理系统，单个的元件“神经元”不能体现全体宏观系统的功能。实际上，可以将大脑的各个部位看成是一个大系统中的许多子系统。各个子系统之间具有很强的相互联系，一些子系统可以调节另一些子系统的行为。例如，视觉系统和运动系统就存在很强的系统联系，可以相互协调各种信息处理功能。(5)能接受和处理模糊的、模拟的、随机的信息。(6)求满意解而不是精确解。人类处理日常行为时，往往都不是一定要按最优或最精确的方式去求解，而是以能解决问题为原则，即求得满意解就行了。基本研究内容（1）(1)人工神经网络模型的研究。神经网络原型研究，即大脑神经网络的生理结构、思维机制；神经元的生物特性如时空特性、不应期、电化学性质等的人工模拟；易于实现的神经网络计算模型；利用物理学的方法进行单元间相互作用理论的研究，如：联想记忆模型；神经网络的学习算法与学习系统。(2)神经网络基本理论研究。神经网络的非线性特性，包括自组织、自适应等作用；神经网络的基本性能，包括稳定性、收敛性、容错性、鲁棒性、动力学复杂性；神经网络的计算能力与信息存贮容量；结合认知科学的研究，探索包括感知、思考、记忆和语言等的脑信息处理模型。基本研究内容（2）(3)神经网络的软件模拟和硬件实现。在通用计算机、专用计算机或者并行计算机上进行软件模拟，或由专用数字信号处理芯片构成神经网络仿真器。由模拟集成电路、数字集成电路或者光器件在硬件上实现神经芯片。软件模拟的优点是网络的规模可以较大，适合于用来验证新的模型和复杂的网络特性。硬件实现的优点是处理速度快，但由于受器件物理因素的限制，根据目前的工艺条件，网络规模不可能做得太大。仅几千个神经元。但代表了未来的发展方向，因此特别受到人们的重视。(4)神经网络计算机的实现。计算机仿真系统；专用神经网络并行计算机系统，例如数字、模拟、数—模混合、光电互连等。光学实现；生物实现；重要应用神经网络智能信息处理系统的一些重要应用：认知与人工智能：包括模式识别、计算机视觉与听觉、特征提取、语音识别语言翻译、联想记忆、逻辑推理、知识工程、专家系统、故障诊断、智能机器人等。优化与控制：包括优化求解、决策与管理、系统辨识、鲁棒性控制、自适应控制、并行控制、分布控制、智能控制等。信号处理：自适应信号处理(自适应滤波、时间序列预测、谱估计、消噪、检测、阵列处理)和非线性信号处理(非线性滤波、非线性预测、非线性谱估计、非线性编码、中值处理)。传感器信息处理：模式预处理变换、信息集成、多传感器数据融合。ANN擅长于两个方面：–对大量的数据进行分类，并且只有较少的几种情况；–必须学习一个复杂的非线性映射。当前神经网络研究的一些趋势（1）当前对于神经网络的研究正在转入稳定、但发展步伐依然是极其迅速的时期。这一时期的研究和发展有以下几点趋势：（1）现在普遍认识到神经网络比较适用于特征提取、模式分类、联想记忆、低层次感知、自适应控制等场合，在这些方面，严格的解析方法会遇到很大困难。当前对神经网络的研究目标，就是从理论上和实践上探讨一种规模上可控的系统，它的复杂程度虽然远比不上大脑，但又具有类似大脑的某些性质，这种性质如果用常规手段则难以实现。当前神经网络研究的一些趋势（2）（2）神经网络的研究，不仅其本身正在向综合性发展，而且愈来愈与其他领域密切结合起来，发展出性能更强的结构。1991年美国wardSystemGroup公司推出的软件产品Neurowindows(Brain—1)是这方面的典型代表。它可以产生128个交互作用的神经网络，每个网可是自组织网也可是多层感知器网，最多可达32层，每层可达32个节点，且可以与其他8层相联。（3）神经网络与传统人工智能方法（基于符号的方法）相结合是近年来发展很快的一个方面。在人工神经网络复苏之初曾经有人喊过“人工智能已死，神经网络万岁”。但这几年的发展日益证明，把这两者结合起来是一条最佳途径。采用综合方法可以取长补短，更好地发挥各自的特点。（3）最近所出现的把神经网络与人工智能系统结合起来的方式大体可分为两类，一类是把人工智能系统作为神经网络的前端，一类是把神经网络作为人工智能系统的前端。人工智能与神经网络的比较人工智能与神经网络共同之处：研究怎样使用计算机来模仿人脑工作过程。学习——实践——再学习——再实践。不同之处：人工智能研究人脑的推理、学习、思考、规划等思维活动，解决需人类专家才能处理的复杂问题。神经网络企图阐明人脑结构及其功能，以及一些相关学习、联想记忆的基本规则（联想、概括、并行搜索、学习和灵活性）

例如：—人工智能专家系统是制造一个专家，几十年难以培养的专家。神经网络是制造一个婴儿，一个幼儿，一个可以学习，不断完善，从一些自然知识中汲取智慧的生命成长过程。

同样是模仿人脑，但所考虑的角度不同。成年人和婴儿。学习过程不一样。一个是总结出常人都不懂的规律；一个是没完没了向他出示、重复一样东西，就象教一个小孩子说话。人工智能与神经网络的比较人工智能与神经网络的比较两种人工智能技术的比较传统的AI技术ANN技术基本实现方式串行处理；由程序实现控制并行处理；对样本数据进行多目标学习；通过人工神经元之间的相互作用实现控制基本开发方法设计规则、框架、程序；用样本数据进行调试（由人根据已知的环境去构造一个模型）定义人工神经网络的结构原型，通过样本数据，依据基本的学习算法完成学习——自动从样本数据中抽取内涵（自动适应应用环境）适应领域精确计算：符号处理，数值计算非精确计算：模拟处理，感觉，大规模数据并行处理模拟对象左脑（逻辑思维）右脑（形象思维）研究ANN所涉及的一些学科关于智能本质的研究是自然科学和哲学的重大课题之一。由于智能本质的复杂性，现代智能研究已超越传统的学科界限，成为脑生理学、神经科学、心理学、认知科学、信息科学、计算机科学、微电子学，乃至数理科学共同关心的“焦点”学科。人工神经网络的重大研究进展有可能使包括信息科学在内的其他学科产生重大突破和变革。展望人工神经网络的成功应用，人类智能有可能产生一次新的飞跃。基本原理－神经元模型(Nucleus)(Axon)(Synapse)(Cell)(Dendrites)(Axonending)脑神经元由细胞体、树突和轴突构成。神经元之间通过轴突末梢（输出）与树突（输入）相互联结,其接口称为突触.基本原理－神经元模型神经元每一个细胞处于两种状态。突触联接有强度。多输入单输出。实质上传播的是脉冲信号，信号的强弱与脉冲频率成正比。基本原理－神经元模型基本原理－神经元模型基本原理－神经元模型转移（活化）函数：神经细胞的输出对输入的反映。典型的转移函数是非线性的。基本原理－网络结构人脑神经网络： 人脑中约有１４０亿个神经细胞，根据Stubbz的估计这些细胞被安排在约１０００个主要模块内，每个模块上有上百个神经网络，每个网络约有１０万个神经细胞。基本原理－网络分类分类前馈型；反馈型；自组织竞争；随机网络其它基本原理－网络模型前馈网络：每层只与前层相联接基本原理－网络模型输入输出有反馈的前馈网络：输出层上存在一个反馈回路，将信号反馈到输入层。而网络本身还是前馈型的。基本原理－网络模型前馈内层互联网络：外部看还是一个前向网络，内部有很多自组织网络在层内互联着。基本原理－网络模型反馈型全互联网络：所有计算单元之间都有联接。如：Hopfield网络基本原理－优缺点评价优点： 并行性；分布存储；容错性；学习能力缺点： 不适合高精度计算；学习问题没有根本解决，慢；目前没有完整的设计方法，经验参数太多。前馈型神经网概述最初称之为感知器。应用最广泛的一种人工神经网络模型，最要原因是有BP学习方法。前馈网络结构是分层的，信息只能从下一层单元传递到相应的上一层单元。上层单元与下层所有单元相联接。转移函数可以是线性阈值的。

2.1单层感知机网络2.2多层感知机模型感知机网络感知器模型感知器是一种早期的神经网络模型，由美国学者F.Rosenblatt于1957年提出。感知器中第一次引入了学习的概念，使人脑所具备的学习功能在基于符号处理的数学到了一定程度的模拟，所以引起了广泛的关注。简单感知器简单感知器模型实际上仍然是MP模型的结构，但是它通过采用监督学习来逐步增强模式划分的能力，达到所谓学习的目的。其结构如下图所示感知器处理单元对n个输入进行加权和操作y即：其中，wi为第i个输入到处理单元的连接权值,θ为阈值,f取阶跃函数典型的MP模型w1w2wnTx1x2xnyy=0,If

y=1,If

感知器在形式上与MP模型差不多，它们之间的区别在于神经元间连接权的变化。感知器的连接权定义为可变的，这样感知器就被赋予了学习的特性。利用简单感知器可以实现逻辑代数中的一些运算。Y=f(w1x1+w2x2-θ)(1)“与”运算 当取w1＝w2＝1，θ＝1.5时，上式完成逻辑“与”的运算。(2)“或”运算， 当取wl＝w2＝1，θ＝0.5时，上式完成逻辑“或”的运算。(3)“非”运算， 当取wl=-1，w2＝0，θ＝-1时,完成逻辑“非”的运算。感知器的运算能力感知器的学习简单感知器中的学习算法是δ学习规则。其具体过程如下：(1)选择一组初始权值wi(0)。(2)计算某一输入模式对应的实际输出与期望输出的误差δ(3)如果δ小于给定值，结束，否则继续。(4)更新权值(阈值可视为输入恒为1的一个权值)：Δwi(t+1)＝wi(t+1)-wi(t)=η[d-y(t)]xi(t)

式中η为在区间(0，1)上的一个常数，称为学习步长，它的取值与训练速度和w收敛的稳定性有关；d、y为神经元的期望输出和实际输出；xi为神经元的第i个输入。

(5)返回(2)，重复，直到对所有训练样本模式，网络输出均能满足要求。1单层感知机网络输入向量wji：xi

到yj的权向量yj(j=1,2,…,m)输出A.一个神经元Xp(p=1,2,….,p),P属于n维空间感知机把P点分成两类B.二维空间神经元样本空间线性等式w1x1+w2x2-

=00100(0,1)(1,1)(0,0)(1,0)AND问题OR问题101(0,1)(1,1)(0,0)(1,0)C.学习算法1.初始化权重wi(0),k=0,可以选择随机数2.选择一组样本,xpanddp(理想输出)计算:假设:xp0=1,w0=-

3.调整权值wi(k+1)=wi(k)+

(dp-yp)

xpii=1,2,…,n

学习速率4.选择下一组样本，andk=k+1Ifwi(k+1)=wi(k)ThenendElsegoto2Endifi=1,2,…,n计算输出是否达到理想输出？停止调整权值NoYes学习过程XOR关系是线性不可分的D.简单感知机的缺点x1x2y0000111011100

w1+0

w2<

0<

0

w1+1

w2>

w2>

1

w1+0

w2>

w1>

1

w1+1

w2<

w1+w2<

输入模式输出模式0000101001110110多层感知器线性不可分问题的克服用多个单级网组合在一起，并用其中的一个去综合其它单级网的结果，我们就可以构成一个两级网络，该网络可以被用来在平面上划分出一个封闭或者开放的凸域来。如果在输入和输出层间加上一层或多层的神经元(隐层神经元)，就可构成多层前向网络，这里称为多层感知器。这里需指出的是：多层感知器只允许调节一层的连接权。这是因为按感知器的概念，无法给出一个有效的多层感知器学习算法。上述三层感知器中，有两层连接权，输入层与隐层单元间的权值是随机设置的固定值，不被调节；输出层与隐层间的连接权是可调节的。多层感知器用多层感知器解决异或问题对于上面述及的异或问题，用一个简单的三层感知器就可得到解决实际上，该三层感知器的输入层和隐层的连接，就是在模式空间中用两个超平面去划分样本，即用两条直线：

x1+x2=0.5x1+x2=1.5

用多层感知器解决异或问题多层感知器的能力可以证明，只要隐层和隐层单元数足够多，多层感知器网络可实现任何模式分类。1962年，Rosenblatt宣布：人工神经网络可以学会它能表示的任何东西感知器收敛定理对于一个N个输入的感知器，如果样本输入函数是线性可分的，那么对任意给定的一个输入样本x，要么属于某一区域F+，要么不属于这一区域，记为F-。F+，F-两类样本构成了整个线性可分样本空间。[定理]如果样本输入函数是线性可分的，那么感知器学习算法经过有限次迭代后，可收敛到正确的权值或权向量。[定理]假定隐含层单元可以根据需要自由设置，那么用双隐层的感知器可以实现任意的二值逻辑函数。多层感知器的问题多层网络的权值如何确定，即网络如何进行学习，在感知器上没有得到解决。当年Minsky等人就是因为对于非线性空间的多层感知器学习算法未能得到解决，使其对神经网络的研究作出悲观的结论。2多层感知机网络输出层隐含层输入层i=1,2,…,nqj=1,2,…,nq-1q=1,2,…,q4.3拓扑结构与学习算法4.3.1节点的组成4.3.2神经元网络的拓扑结构4.3.3神经网络的学习算法4.3.1节点的组成A.jth

Node节点的组成B.传递函数节点计算方程:f(xj

)=f(

(wij

ai)–Tj)选择什么样的传递函数呢?Asigmoid(S-shaped)functionAhyperbolictangenttransferfunctionf(x)=tanh(x)=

ex–e-xex+e-xAGaussiantransferfunctionf(x)=e[-x2/2]C.节点的处理过程4.3.2拓扑结构

单个隐含层的网络多个隐含层4.3.3开发神经网络学习是根据理想输出和实际输出之间的误差来调整权值的过程。三个步骤：

*训练或学习阶段*回想阶段*泛化阶段学习的类型两种输入向量形式：二值输入（0and1）or连续值输入两种学习策略：监督学习（有教师）学习、无监督（无教师）学习Supervisedlearning–Anexternalteachercontrolsthelearningandincorporatesglobalinformation.Unsupervisedlearning–Noexternalteacherisusedandnsteadtheneuralnetworkreliesuponbothinternalcontrolandlocalinformation.1.HebbLearningRule(unsupervisedlearning)ix1x2xjxnwijyi

wij

=wij(n+1)-wij(n)

=

yixj

j=1,2,…,n

>0Learningrate

wij

=

f(wiTX)xjwi1winExample1InitialweightvectorInputvectorTrainingsampleAssumption1Step1f(net)=1Step2f(net)=-1Step3f(net)=-1Assumption2Step1Step2Step32.感知机学习规则(supervisedlearning)

wij

=

(di-sgn(wiTX))

xj

j=1,2,…,nLearningsignalr=di–yi

didesiredoutput

Example1Agroupoftraininginputvectors:d1=-1d2=-1d3=1DesiredoutputAssumption

=0.1Step1InitialweightvectorSelectsampleX1andd1Step2SelectsampleX2andd2

d2=sgn(-1.6)=-1

W3=W2Step3SelectsampleX3andd3LetW1=W4,Recycletostep1From2.5reducedto0.93.梯度下降法

(supervisedlearning)SquareError

di

desiredoutputyiNNoutputj=1,2,…,nEistheerrorfunction

isthelearningrateExample1Agroupoftraininginputvectors:d1=-1d2=-1d3=1DesiredoutputAssumption

=0.1InitialweightvectorTransferfunctionStep1SelectsampleX1andd1Step2SelectsampleX2andd2Step3SelectsampleX3andd3C.检验神经网络的执行效果分两步:1.回想（Recall）Howwelldoestheneuralnetworkrecallthepredictedresponses(outputvector)fromdatasetsusedtotrainthenetwork.2.泛化（Generalization）Howwelldoesthenetworkpredictresponsesfromdatasetsthatwerenotusedintraining.Awell-trainednetworkshouldbeabletoproduceanoutputwithverylittleerrorfromthedesiredoutput.Awell-trainednetworkshouldprovidesinput-outputmappingwithgoodgeneralizationcapability.Anillustrationofgoodandbadgeneralizationsbyatrainedneuralnetwork多层前馈神经元网络ErrorBackpropagationAlgorithm（BP算法）神经计算设计应用1ErrorBackpropagationAlgorithm（BP）ErrorBack-PropagationInputlayerOutputlayerHiddenlayer+-Desiredoutput