2008年研究生神经网络试题a卷参考答案

研究生神经网络试题 A 卷参考答案 一、名词解释(共 5 题，每题 5 分，共计 25 分) 1、泛化能力 答：泛化能力又称推广能力，是机器学习中衡量学习机性能好坏的一个重要指 标。泛化能力主要是指经过训练得到的学习机对未来新加入的样本（即测试样 本）数据进行正确预测的能力。 2、有监督学习 答：有监督学习又被称为有导师学习，这种学习方式需要外界存在一个“教师” ， 她可以对一组给定输入提供应有的输出结果，学习系统可根据已知输出与实际 输出之间的差值来调节系统参数。 3、过学习 答：过学习（over-fitting） ，也叫过拟和。在机器学习中，由于学习机器过于复 杂，尽管保证了分类精度很高（经验风险很小） ，但由于 VC 维太大，所以期望 风险仍然很高。也就是说在某些情况下，训练误差最小反而可能导致对测试样 本的学习性能不佳，发生了这种情况我们称学习机（比如神经网络）发生了过 学习问题。典型的过学习是多层前向网络的 BP 算法 4、Hebb 学习规则 答：如果两个神经元同时兴奋(即同时被激活)，则它们之间的突触连接加强。 如果用 、 表示神经元 i 和 j 的激活值(输出)， 表示两个神经元之间的连ivj ij 接权，则 Hebb 学习规则可以表示为： ，这里 表示学习速率。ijijwv Hebb 学习规则是人工神经网络学习的基本规则，几乎所有神经网络的学习规则 都可以看作 Hebb 学习规则的变形。 5、自学习、自组织与自适应性 答：神经网络结构上的特征是处理单元的高度并行性与分布性，这种特征使神 经网络在信息处理方面具有信息的分布存储与并行计算而且存储与处理一体化 的特点。而这些特点必然给神经网络带来较快的处理速度和较强的容错能力。 能力方面的特征是神经网络的自学习、自组织与自性适应性。自适应性是指一 个系统能改变自身的性能以适应环境变化的能力，它包含自学习与自组织两层 含义。自学习是指当外界环境发生变化时，经过一段时间的训练或感知，神经 网络能通过自动调整网络结构参数，使得对于给定输入能产生期望的输出。自 组织是指神经系统能在外部刺激下按一定规则调整神经元之间的突触连接，逐 渐构建起神经网络。也就是说自组织神经元的学习过程，完全是一种自我学习 的过程，不存在外部教师的示教。 二、问答题（共 7 题，每题 8 分，共计 56 分） 1、试述遗传算法的基本原理，并说明遗传算法的求解步骤。 答：遗传算法的基本原理如下：通过适当的编码方式把问题结构变为位串形式 （染色体），在解空间中取一群点作为遗传开始的第一代，染色体的优劣程度 用一个适应度函数来衡量，每一代在上一代的基础上随机地通过复制、遗传、 变异来产生新的个体，不断迭代直至产生符合条件的个体为止。迭代结束时， 一般将适应度最高的个体作为问题的解。 一般遗传算法的主要步骤如下： (1) 随机产生一个由确定长度的特征字符串组成的初始群体。 (2) 对该字符串群体迭代的执行下面的步 (a) 和 (b) ，直到满足停止标准： (a) 计算群体中每个个体字符串的适应值； (b) 应用复制、交叉和变异等遗传算子产生下一代群体。 (3) 把在后代中出现的最好的个体字符串指定为遗传算法的执行结果，这个 结果可以表示问题的一个解。 2、什么是进化计算？它包括哪些内容？它们的出发点是什么？ 答：进化计算即模仿生物来建立功能强大的算法，进而将它们运用于复杂的优 化问题。进化计算包括遗传算法、进化策略 、进化编程 、遗传编程和人工生 命。 遗传算法是模仿生物遗传学和自然选择机理，通过人工方式构造的一类优化搜 索算法，是对生物进化过程进行的一种数学仿真，是进化计算的一种最重要形 式。 进化策略是一类模仿自然进化原理以求解参数优化问题的算法。 进化编程的过程，可理解为从所有可能的计算机程序形成的空间中，搜索具有 高的适应度的计算机程序个体。 人工生命试图通过人工方法建造具有自然生命特征的人造系统。 3、人工神经网络是模拟生物神经网络的产物，除相同点外，它们还存在哪些主 要区别？ 答; 1单元上的差别 对于生物神经元而言，影响突触传递信息强度的因素 很多、很复杂。如突触前微细胞的大小与多少、神经传递化学物质含量的多少、 神经传递化学物质释放的速度、突触间隙的变化、树突的位置与大小等诸多因 素都会对突触电位产生影响，从而影响神经元的输出脉冲响应。而人工神经元 则忽略了这些影响，输入、输出关系十分简单。 2信息上的差别 生物神经元传递的信息是脉冲，而人工神经元传递的信 息是模拟电压。 3规模与智能上的差别 目前，人工神经网络的规模还远小于生物神经网 络，网络中神经元的数量一般在 104 个以下，显然，其智能也无法与生物神经 网络相比。 4、感知器神经网络存在的主要缺陷是什么？ 答: 1)由于感知器的激活函数采用的是阀值函数，输出矢量只能取 0 或 1，所以 只能用它来解决简单的分类问题； 2)感知器仅能够线性地将输入矢量进行分类。理论上已经证明，只要输人矢 量是线性可分的，感知器在有限的时间内总能达到目标矢量； 3)感知器还有另外一个问题，当输入矢量中有一个数比其他数都大或小得很 多时，可能导致较慢的收敛速度。 5、请比较前馈型神经网络与反馈型神经网络的异同点。（8 分） 答：前馈型神经网络只表达输入输出之间的映射关系，实现非线性映射；反馈 型神经网络考虑输入输出之间在时间上的延迟，需要用动态方程来描述，反馈 型神经网络是一个非线性动力学系统。 (1) 前馈型神经网络的学习训练主要采用 BP 算法，计算过程和收敛速度比 较慢；反馈型神经网络的学习主要采用 Hebb 规则，一般情况下计算的收敛速 度很快，并且它与电子电路有明显的对应关系，使得网络易于用硬件实现。 (2) 前馈型神经网络学习训练的目的是快速收敛，一般用误差函数来判定其 收敛程度；反馈型神经网络的学习目的是快速寻找到稳定点，一般用能量函数 来判别是否趋于稳定点。 (3) 两者都有局部极小问题。 6、BP 算法的基本思想是什么，它存在哪些不足之处？（9 分） 答：BP 算法（即反向传播法）的基本思想是：学习过程由信号的正向传播与误 差的反向传播两个过程组成。 1）正向传播：输入样本 输入层各隐层（处理）输出层 注 1：若输出层实际输出与期望输出（教师信号）不符，则转入 2） （误差反向 传播过程） 2）误差反向传播：输出误差（某种形式） 隐层（逐层）输入层 其主要目的是通过将输出误差反传，将误差分摊给各层所有单元，从而获得各 层单元的误差信号，进而修正各单元的权值（其过程，是一个权值调整的过程） 。 注 2：权值调整的过程，也就是网络的学习训练过程（学习也就是这么的由来， 权值调整） 。 虽然 BP 算法得到广泛的应用，但它也存在自身的限制与不足，其主要表现 在于它的训练过程的不确定上。具体说明如下： 1）易形成局部极小（属贪婪算法，局部最优)而得不到全局最优； BP 算法可以使网络权值收敛到一个解，但它并不能保证所求为误差超平 面的全局最小解，很可能是一个局部极小解。 2）训练次数多使得学习效率低下，收敛速度慢（需做大量运算） ； 对于一些复杂的问题，BP 算法可能要进行几小时甚至更长的时间的训练。 这主要是由于学习速率太小所造成的。可采用变化的学习速率或自适应的学习 速率来加以改进。 3）隐节点的选取缺乏理论支持； 4）训练时学习新样本有遗忘旧样本趋势 7、请描述结构风险最小化原则（SRM ）的思想，并给出其数学表达式。 答： 传统机器学习中的经验风险最小化（ERM）原则在有限样本情况下是不合理的。 需要同时最小化经验风险和置信界限。统计学习理论提出了一种新的策略，即把函数集构 造为一个函数子集序列，使各个子集按照 VC 维的大小(亦即 的大小)排列：在每个子集中 寻找最小经验风险，在子集间折衷考虑经验风险和置信界限，取得实际风险的最小，如下 图所示。这种思想称作结构风险最小化准则,即 SRM 准则。结构风险最小化原则的数学 表达式如下式所示： n hnhwRwR emp ) 4/ln()1)/2(ln()()( 式中 R(w)为实际风险， R （w ）为经验风险， h是函数集的 VC 维， 是样本数。emp n 结构风险最小化原理图 三、推导题（共一题，计 19 分） 1、给定图 1 所示的具有一个隐含层的 BP 简化网络图，请给出 BP 算法的完整 推导步骤。 答： 1、信息的正向传递 1)隐含层中第 i 个神经元的输出为