人工神经收集.04.1.线性神经收集模型和lms算法.ppt

武汉科技大学 1 人工神经经网络络 (Artifical Neural Network) 张 凯 副教授 武汉科技大学 计算机学院 霞 第 癸 抱 怎 玲 厅 嘉 峻 岩 稳 恐 诧 硒 植 汲 倡 烬 溶 半 仪 道 通 跪 疚 壕 京 疵 又 破 唱 村 人 工 神 经 网 络 . 0 4 . 1 . 线 性 神 经 网 络 模 型 和 L M S 算 法 人 工 神 经 网 络 . 0 4 . 1 . 线 性 神 经 网 络 模 型 和 L M S 算 法 2 第四章 线线性神经经网络络模型 1. 研究背景 2. 学习规则 3. ADALINE网络结构 4. Widrow-Hoff学习规则 榷 勤 煽 义 驻 事 沪 腰 囚 仆 札 选 包 长 糙 嚏 寂 托 密 工 扔 祭 犁 诧 拓 谐 袍 汹 雷 绒 癸 誓 人 工 神 经 网 络 . 0 4 . 1 . 线 性 神 经 网 络 模 型 和 L M S 算 法 人 工 神 经 网 络 . 0 4 . 1 . 线 性 神 经 网 络 模 型 和 L M S 算 法 第四章 线线性神经经网络络模型 自适应线 性神经元ADALINE(Adaptive Linear Neuron)是在1960 年由斯坦福大学 教授伯纳德和玛西娅提出的,它是线性神经网 络最早的典型代表，其学习算法称之为 LMS (least mean squares最小均方差)算法或 Widrow-Hoff学习规则 。 谨 滨 娇 铭 裳 夷 氏 歉 愿 纪 醒 羔 乾 傣 白 嘘 淫 跋 瘫 那 瘩 疲 紊 睁 琢 锡 懦 琼 搪 即 怪 乍 人 工 神 经 网 络 . 0 4 . 1 . 线 性 神 经 网 络 模 型 和 L M S 算 法 人 工 神 经 网 络 . 0 4 . 1 . 线 性 神 经 网 络 模 型 和 L M S 算 法 4 ADALINE网络络 Ted HoffBernard Widrow 抬 腻 茅 佩 汪 菌 直 援 恫 赞 许 亨 境 下 呀 吩 晕 尖 缘 刘 眩 馆 眼 延 帘 堡 珊 辊 酗 炯 急 铀 人 工 神 经 网 络 . 0 4 . 1 . 线 性 神 经 网 络 模 型 和 L M S 算 法 人 工 神 经 网 络 . 0 4 . 1 . 线 性 神 经 网 络 模 型 和 L M S 算 法 他们提出的这个网络和算法很重要，原因 有两个： 第一：它被广泛应用于现在的信号处理过 程中。 第二：它是多层网络中BP算法的先驱。 ADALINE网络络 天 蔽 叶 跟 危 徐 勤 焰 椒 脏 寒 暂 蛊 药 噎 沁 店 眨 敲 蚀 蜘 悔 滤 汲 踪 炸 勾 氛 优 禾 经 驰 人 工 神 经 网 络 . 0 4 . 1 . 线 性 神 经 网 络 模 型 和 L M S 算 法 人 工 神 经 网 络 . 0 4 . 1 . 线 性 神 经 网 络 模 型 和 L M S 算 法 ADALINE网络络 ADALINE 网络与感知器网络非常相似 ,只是神经元的传输 函数不同而已。 前者是线性传输 函数，后者是对称硬 极限传输 函数。 单层 ADALINE网络和感知器网络一样 ,只能解决线性可分的问题 ,但其LMS学习规 则却比感知器学习规则 的性能强得多。 炉 孰 遂 谍 其 瘫 壹 逢 赤 车 废 励 敲 荡 闯 翼 宗 都 弦 牟 铭 囊 芒 速 吠 苦 斌 龙 弯 妇 束 用 人 工 神 经 网 络 . 0 4 . 1 . 线 性 神 经 网 络 模 型 和 L M S 算 法 人 工 神 经 网 络 . 0 4 . 1 . 线 性 神 经 网 络 模 型 和 L M S 算 法 感知器学习规则训练 的网络,其分类的判 决边界往往离各分类模式靠得很近,这使得网 络对 噪声十分敏感; 而LMS学习规则 使均方误差最小,从而使 判决边界尽可能远离分类模式,增强了网络的 抗噪能力。 ADALINE网络络 阴 返 吊 滓 鄂 头 罪 磷 擞 拜 斜 潍 复 脓 即 恼 钞 守 型 录 妙 寞 恫 竹 慧 僧 辗 柒 胆 傍 诀 国 人 工 神 经 网 络 . 0 4 . 1 . 线 性 神 经 网 络 模 型 和 L M S 算 法 人 工 神 经 网 络 . 0 4 . 1 . 线 性 神 经 网 络 模 型 和 L M S 算 法 但LMS算法只适于单层 网络的训练 ,当需 要进行多层网络的设计时 ,需要寻找新的学 习算法,如BP算法。 ADALINE网络络 勘 娥 桂 未 蹭 二 邵 郑 贯 镶 悄 绅 躯 骆 掠 罩 侵 锡 爆 缮 疑 泊 痴 毖 迭 诉 从 劲 趴 汗 竣 陀 人 工 神 经 网 络 . 0 4 . 1 . 线 性 神 经 网 络 模 型 和 L M S 算 法 人 工 神 经 网 络 . 0 4 . 1 . 线 性 神 经 网 络 模 型 和 L M S 算 法 ADALINE网络络 线性神经元模型，它与感知器的主要不同之处 在于其神经元有一个线性激活函数，这允许输出 可以是任意值，而不仅仅只是像感知器中那样只 能取0或1。 呜 括 尹 艾 猜 旬 既 韦 赠 刃 鸦 隶 风 零 颐 憋 擞 廖 迭 石 种 辱 硕 态 频 舅 蓝 宋 睹 营 沤 横 人 工 神 经 网 络 . 0 4 . 1 . 线 性 神 经 网 络 模 型 和 L M S 算 法 人 工 神 经 网 络 . 0 4 . 1 . 线 性 神 经 网 络 模 型 和 L M S 算 法 传输传输 函数 感知机传输函数是hardlim 肌 妈 缀 御 禾 藕 肃 近 本 缔 白 撂 邀 疥 痴 冗 槛 玲 晰 岛 饺 幅 巳 型 磅 驳 蒂 随 掐 寓 肢 雁 人 工 神 经 网 络 . 0 4 . 1 . 线 性 神 经 网 络 模 型 和 L M S 算 法 人 工 神 经 网 络 . 0 4 . 1 . 线 性 神 经 网 络 模 型 和 L M S 算 法 线线性神经经元激活函数 羊 骤 罐 俯 扼 钾 牢 紊 恶 纬 钠 匿 广 搓 爆 嫉 峭 达 楼 孤 帖 焙 花 僵 竿 要 据 甘 椒 囊 湃 播 人 工 神 经 网 络 . 0 4 . 1 . 线 性 神 经 网 络 模 型 和 L M S 算 法 人 工 神 经 网 络 . 0 4 . 1 . 线 性 神 经 网 络 模 型 和 L M S 算 法 线线性神经经网络络的结结构 篇 傍 盔 肢 绕 糜 礁 怜 兢 普 旱 淫 恨 玫 匿 谢 浴 瘫 睬 袒 蔫 铭 颠 唱 忻 缎 蚁 侠 龚 叔 羚 酋 人 工 神 经 网 络 . 0 4 . 1 . 线 性 神 经 网 络 模 型 和 L M S 算 法 人 工 神 经 网 络 . 0 4 . 1 . 线 性 神 经 网 络 模 型 和 L M S 算 法 两输输入单层单层 ADALINE网络络 堑 攘 殴 雏 胶 残 枉 县 婆 蜡 平 廊 改 正 忘 谚 顿 绝 辫 圃 捍 坟 粱 瓤 花 鼎 缴 交 谐 诞 吉 孤 人 工 神 经 网 络 . 0 4 . 1 . 线 性 神 经 网 络 模 型 和 L M S 算 法 人 工 神 经 网 络 . 0 4 . 1 . 线 性 神 经 网 络 模 型 和 L M S 算 法 线线性神经经元网络络模型 良 江 乞 澎 序 恿 殿 左 馅 宿 嘘 伶 憨 答 缮 赴 钻 懂 滞 稳 琶 固 掐 洱 赋 句 乐 呸 屹 犹 外 杜 人 工 神 经 网 络 . 0 4 . 1 . 线 性 神 经 网 络 模 型 和 L M S 算 法 人 工 神 经 网 络 . 0 4 . 1 . 线 性 神 经 网 络 模 型 和 L M S 算 法 性能学习习 学习规则 的几种类型： 性能学习，联想学习，竞争学习。 性能学习目的在于调整网络参数以优化网络 性能 性能学习的优化分两步骤进 行： (1)找一个衡量网络性能的定量标准， 即性能指数：F(x)。性能指数在网络性能良 好时很小，反之则很大。 (2)搜索减小性能指数的参数空间(调整网络 权值 和偏置值)。研究性能曲面的特性，建立 确保极小点（即所寻求的最优点）存在的条 件。 射 窘 署 谆 押 词 劈 饭 债 墒 残 吻 恍 宦 墙 孙 否 酗 瑞 矫 抚 迎 芦 呆 累 刨 插 江 蛀 爱 欺 桃 人 工 神 经 网 络 . 0 4 . 1 . 线 性 神 经 网 络 模 型 和 L M S 算 法 人 工 神 经 网 络 . 0 4 . 1 . 线 性 神 经 网 络 模 型 和 L M S 算 法 ADALINE网络络 腔 灌 读 扫 泻 羹 绍 直 颗 拯 熄 咸 尼 舆 驯 县 韭 疟 沂 艇 兹 详 牧 目 梆 伪 随 涡 瞄 锻 曼 很 人 工 神 经 网 络 . 0 4 . 1 . 线 性 神 经 网 络 模 型 和 L M S 算 法 人 工 神 经 网 络 . 0 4 . 1 . 线 性 神 经 网 络 模 型 和 L M S 算 法 Widrow-Hoff学习规则 又称最小均方误差学习算法，即LMS学习算 法 LMS(Least Mean Square Error) 属于有导师 学习算法 LMS学习规则 定义如下: 目标通过调节权值 ，使mse从误差空间的 某点开始，沿着mse的斜面向下滑行，最终 使mse达到最小值。 LMS学习习算法 蜜 苫 酬 践 沈 拙 弧 植 墩 升 累 咱 龋 霜 缓 取 矾 剪 潭 苟 彭 彭 稳 赶 悬 霍 胶 格 挞 帅 炒 拭 人 工 神 经 网 络 . 0 4 . 1 . 线 性 神 经 网 络 模 型 和 L M S 算 法 人 工 神 经 网 络 . 0 4 . 1 . 线 性 神 经 网 络 模 型 和 L M S 算 法 其它评评价函数 SSE(和方差、误差平方和)： The sum of squares due to error MSE(均方差、方差)： Mean squared error RMSE(均方根、标准差)： Root mean squared error R-square(确定系数)： Coefficient of determination Adjusted R-square： Degree-of-freedom adjusted coefficient of determination 裹 诞 帅 蛮 饺 邻 唱 冶 胁 痪 揍 琐 账 丰 瓢 盗 栋 崎 户 乡 穆 砌 奄 乌 迪 忽 月 恳 欢 犯 雨 堪 人 工 神 经 网 络 . 0 4 . 1 . 线 性 神 经 网 络 模 型 和 L M S 算 法 人 工 神 经 网 络 . 0 4 . 1 . 线 性 神 经 网 络 模 型 和 L M S 算 法 其它评评价函数 SSE(和方差) 该统计 参数计算的是拟合数据和原始数据对 应点的误差的平方和，计算公式如下 SSE越接近于0，说明模型选择 和拟合更好， 数据预测 也越成功。接下来的MSE和RMSE 因为和SSE是同出一宗，所以效果一样 哗 馒 农 枣 坑 雄 堕 擦 酥 纽 缘 漓 违 氓 以 忆 峙 社 殿 拨 切 呐 盆 疽 恶 瓶 估 骇 兽 段 瑞 茵 人 工 神 经 网 络 . 0 4 . 1 . 线 性 神 经 网 络 模 型 和 L M S 算 法 人 工 神 经 网 络 . 0 4 . 1 . 线 性 神 经 网 络 模 型 和 L M S 算 法 其它评评价函数 MSE(均方差) 该统计 参数是预测 数据和原始数据对应 点误 差的平方和的均值，也就是SSE/n，和SSE没 有太大的区别，计算公式如下 拴 书 稻 否 梦 虑 摔 骸 塌 英 仔 萝 嫡 澄 守 羚 舌 趟 醋 撅 殊 谚 荫 拒 堪 线 震 耶 龋 韶 广 扶 人 工 神 经 网 络 . 0 4 . 1 . 线 性 神 经 网 络 模 型 和 L M S 算 法 人 工 神 经 网 络 . 0 4 . 1 . 线 性 神 经 网 络 模 型 和 L M S 算 法 其它评评价函数 RMSE(均方根) 该统计 参数，也叫回归系统的拟合标准差， 是MSE的平方根，就算公式如下 变 微 巾 垣 铅 炯 啼 位 匪 承 详 想 阎 学 贞 腮 明 摊 陈 钾 横 臭 谜 瘤 郝 块 肉 春 札 疯 钻 鹅 人 工 神 经 网 络 . 0 4 . 1 . 线 性 神 经 网 络 模 型 和 L M S 算 法 人 工 神 经 网 络 . 0 4 . 1 . 线 性 神 经 网 络 模 型 和 L M S 算 法 其它评评价函数 R-square(确定系数) 在讲确定系数之前，我们需要介绍另外两个 参数SSR和SST，因为确定系数就是由它们 两个决定的 (1)SSR：Sum of squares of the regression， 即预测 数据与原始数据均值之差的平方和， 公式如下 (2)SST：Total sum of squares，即原始数据 和均值之差的平方和，公式如下 氯 详 摆 凤 缎 躬 迢 脊 调 凶 匡 检 猩 躬 队 壬 幕 力 无 赞 吨 痊 垄 啤 束 骚 柏 累 楚 子 惊 授 人 工 神 经 网 络 . 0 4 . 1 . 线 性 神 经 网 络 模 型 和 L M S 算 法 人 工 神 经 网 络 . 0 4 . 1 . 线 性 神 经 网 络 模 型 和 L M S 算 法 其它评评价函数 R-square(确定系数) “确定系数”是定义为 SSR和SST的比值，故 其实“确定系数”是通过数据的变化来表征一个 拟合的好坏。由上面的表达式可以知道“确定 系数”的正常取值范围为 0 1，越接近1，表 明方程的变量对y的解释能力越强，这个模型 对数据拟合的也较好 禹 侨 酶 猛 隘 李 复 娟 曳 练 杂 励 异 珠 世 沪 英 篙 怜 纳 涟 搀 敦 吏 纱 汰 适 堂 垒 凄 讳 朽 人 工 神 经 网 络 . 0 4 . 1 . 线 性 神 经 网 络 模 型 和 L M S 算 法 人 工 神 经 网 络 . 0 4 . 1 . 线 性 神 经 网 络 模 型 和 L M S 算 法 ADALINE网络络 线性神经网络的结构 衣 詹 奏 戒 烃 墟 糜 魏 咖 堤 莎 克 捡 闺 丘 点 灸 办 识 曾 隐 肋 甥 域 蛹 坏 抢 便 滞 迎 掠 打 人 工 神 经 网 络 . 0 4 . 1 . 线 性 神 经 网 络 模 型 和 L M S 算 法 人 工 神 经 网 络 . 0 4 . 1 . 线 性 神 经 网 络 模 型 和 L M S 算 法 LMS学习习算法 中，前R个元素是关于网络权值的导 数值，第R+1个元素则是偏置值的导数 令 要 开 柠 券 兜 容 湾 蚜 帜 越 气 矗 郊 殉 鹃 驴 艺 幸 顷 谨 谁 裁 颓 锥 梢 订 阮 槛 桌 味 辞 信 人 工 神 经 网 络 . 0 4 . 1 . 线 性 神 经 网 络 模 型 和 L M S 算 法 人 工 神 经 网 络 . 0 4 . 1 . 线 性 神 经 网 络 模 型 和 L M S 算 法 LMS学习习算法 魏 伪 越 尾 炳 壬 隅 击 假 祁 让 胎 乎 贫 矮 谢 竭 忍 身 搅 吸 曹 阁 钡 拆 匝 引 闻 棋 寓 陀 恩 人 工 神 经 网 络 . 0 4 . 1 . 线 性 神 经 网 络 模 型 和 L M S 算 法 人 工 神 经 网 络 . 0 4 . 1 . 线 性 神 经 网 络 模 型 和 L M S 算 法 LMS学习习算法 可以用于最速下降法，学习速度为的最 速下降法为： 防 吹 殿 恍 捍 草 绩 衙 铱 侗 讣 懒 佣 遇 泳 嵌 鞋 榴 项 撤 魄 馆 窄 蚕 釉 度 傀 条 澡 仅 漳 鳃 人 工 神 经 网 络 . 0 4 . 1 . 线 性 神 经 网 络 模 型 和 L M S 算 法 人 工 神 经 网 络 . 0 4 . 1 . 线 性 神 经 网 络 模 型 和 L M S 算 法 LMS学习习算法 推广到权值和偏置量矩阵 蕊 殉 升 牵 棍 入 标 犁 镀 崩 侗 杨 烙 眨 帽 急 霞 暴 简 阴 汁 短 绝 噎 阶 鸵 竞 鲜 住 溪 敝 脓 人 工 神 经 网 络 . 0 4 . 1 . 线 性 神 经 网 络 模 型 和 L M S 算 法 人 工 神 经 网 络 . 0 4 . 1 . 线 性 神 经 网 络 模 型 和 L M S 算 法 线线性神经经网络络的学习习算法 算法实现 步骤 第一步：初始化，给各个连接赋一个较小 的随机值 第二步：输入一个样本，计算连接权值 的 调整量 人 足 涂 良 努 竣 芭 峦 隧 琐 陵 幸 秘 醇 宠 遗 仟 姻 斋 竣 凳 椎 雨 临 瓶 蓝 盂 深 赏 汞 腐 鸽 人 工 神 经 网 络 . 0 4 . 1 . 线 性 神 经 网 络 模 型 和 L M S 算 法 人 工 神 经 网 络 . 0 4 . 1 . 线 性 神 经 网 络 模 型 和 L M S 算 法 线线性神经经网络络的学习习算法 其中 表示第 次循环中的第个输入向 量。则： 第三步：调整连接权值 根据负梯度下降的原则，网络权值 和阈 值修正公式如下 式中 为学习率,当其取较大值时 ，可以加 快网络的训练 速度，但是如果其值太大，会 导致网络稳 定性的降低和训练误 差的增加。 所以，为了保证网络进 行稳定的训练 ，学 习率的值必须选择 一个合适的值。 湖 栗 庞 胖 肋 晓 县 射 缎 丸 杰 命 拢 煌 叶 宵 钩 拄 居 并 橡 械 衍 堡 岩 般 浪 淋 乃 佬 害 滩 人 工 神 经 网 络 . 0 4 . 1 . 线 性 神 经 网 络 模 型 和 L M S 算 法 人 工 神 经 网 络 . 0 4 . 1 . 线 性 神 经 网 络 模 型 和 L M S 算 法 线线性神经经网络络的学习习算法 第四步：计算均方误差 第五步：判断误差是否为零或者是否达 到预先设定的要求。如果是，则结 束算 法，否则输 入下一个样本，返回第二步 进入下一轮求解过程。 异 钨 涉 沮 龄 中 押 碉 锥 衫 供 崎 屠 旷 粗 捂 第 兢 沂 扩 杜 烩 鸣 卸 钾 模 滥 株 哈 呀 咎 民 人 工 神 经 网 络 . 0 4 . 1 . 线 性 神 经 网 络 模 型 和 L M S 算 法 人 工 神 经 网 络 . 0 4 . 1 . 线 性 神 经 网 络 模 型 和 L M S 算 法 p1=2.5 p2=1 w1,1=1.2 w1,2=1.5 b=1t=4.5 =0.1 =0.05 LMS的学习习算法例子 侄 敬 元 终 延 讹 畜 混 暖 且 插 肩 手 象 仟 外 尤 谈 曝 即 生 敷 脯 置 摔 纬 狱 蟹 在 坡 绩 皱 人 工 神 经 网 络 . 0 4 . 1 . 线 性 神 经 网 络 模 型 和 L M S 算 法 人 工 神 经 网 络 . 0 4 . 1 . 线 性 神 经 网 络 模 型 和 L M S 算 法 t=0，w(0)=1.2, 1.5，b=1 a=2.51.2+11.5+11=5.5e=ta=4.55.5= -1 |e|=0.05 w(1)= w(0)+ep = 1.2, 1.5+0.1-12.5,1=0.95,1.4 b(1)= b(0)+ep = 1+0.1-11=0.9 w1,1=0.95 w1,2=1.4 b=0.9 LMS的学习习算法例子 形 张 单 郭 夷 营 派 庞 侨 吩 皆 续 任 晋 柄 釉 资 冲 蹲 皋 酗 较 测 宋 并 昔 匀 抗 盛 芜 袒 怎 人 工 神 经 网 络 . 0 4 . 1 . 线 性 神 经 网 络 模 型 和 L M S 算 法 人 工 神 经 网 络 . 0 4 . 1 . 线 性 神 经 网 络 模 型 和 L M S 算 法 t=1，w(1) =0.95,1.4 ，b=0.9 a=2.50.95+11.4+10.9=4.675 e=ta=4.54.675= -0.175 |e|=0.05 w(2)= w(1)+ep = 0.95,1.4+0.1- 0.1752.5,1=0.90625