已阅读5页,还剩8页未读, 继续免费阅读
版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领
文档简介
梯度下降法,梯度下降法,又称最速下降法。1847年由著名的数学家柯西Cauchy给出。,基本思想,假设我们爬山,如果想最快的上到山顶,那么我们应该从山势最陡的地方上山。也就是山势变化最快的地方上山,同样,如果从任意一点出发,需要最快搜索到函数最大值,那么我们也应该从函数变化最快的方向搜索。,函数变化最快的方向是什么呢?,如果函数为一元函数,梯度就是该函数的导数,函数的梯度。,梯度下降法,如果为二元函数,梯度定义为:,如果需要找的是函数极小点,那么应该从负梯度的方向寻找,该方法称之为梯度下降法。,要搜索极小值C点,在A点必须向x增加方向搜索,此时与A点梯度方向相反;在B点必须向x减小方向搜索,此时与B点梯度方向相反。总之,搜索极小值,必须向负梯度方向搜索。,梯度下降法-步骤,假设函数 只有一个极小点。 初始给定参数为 。从这个点如何搜索才能找到原函数的极小值点?,方法:,1. 首先设定一个较小的正数,;,2. 求当前位置处的各个偏导数:,3. 修改当前函数的参数值,公式如下:,4. 如果参数变化量小于,退出;否则返回2。,梯度下降法,例1 任给一个初始出发点,设为x0=-4,利用梯度下降法求函数y=x2/2-2x的极小值。,(1) 首先给定两个参数:,(2) 计算导数:,(3) 计算当前导数值:,(4) 修改当前参数:,(5) 计算当前导数值:,(6) 修改当前参数:,梯度下降法,(7) 计算当前导数值:,(8) 修改当前参数:,(9) 计算当前导数值:,(10) 修改当前参数:,(11)此时变化量满足终止条件,终止。,梯度下降法,梯度下降法,要求E的极小点,取,梯度下降法,为学习率,所以,而其中的,且,所以,梯度下降法,且,所以:,令,梯度下降法,(1) 假设,oj为输出层神经元输出,由于,梯度下降法,如果函数f为sigmoid函数,此时,权值的调整公式为:,所以:,梯度下降法,(2) 假设,oj为隐含层神经元输出
温馨提示
- 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
- 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
- 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
- 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
- 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
- 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
- 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。
最新文档
- 2024-2030年数字视频和监控器电缆组件行业市场现状供需分析及重点企业投资评估规划分析研究报告
- 2024-2030年数字PCR和实时PCR行业市场现状供需分析及重点企业投资评估规划分析研究报告
- 2024-2030年收缩套标行业市场现状供需分析及重点企业投资评估规划分析研究报告
- 2024-2030年搅拌机和搅拌机行业市场现状供需分析及市场深度研究发展前景及规划投资研究报告
- 2024-2030年拖车锁行业市场现状供需分析及重点企业投资评估规划分析研究报告
- 2024-2030年护发素项目商业计划书
- 2024-2030年打印纸行业市场现状供需分析及重点企业投资评估规划分析研究报告
- 2024-2030年手术整合系统行业市场现状供需分析及重点企业投资评估规划分析研究报告
- 2024-2030年戴面具离开行业市场现状供需分析及重点企业投资评估规划分析研究报告
- 2024-2030年成人血红蛋白病试验行业市场现状供需分析及重点企业投资评估规划分析研究报告
- 儿科大题总结详细版(简答题、病例分析)
- 水环境监测与治理(中级)理论考试备考题库(含答案)
- 大型游乐设施操作Y2资格考试题库(精简500题)
- 室外隔油池施工方案
- 工程部内勤岗位职责3篇
- (完整版)重大危险源清单及辨识表
- 达托霉素课件
- 2022年广东省深圳市中考化学试卷(含答案)
- 刘卫天机姓名学讲义龙华居士
- 普外科诊疗规范(全套完整版)
- 篮球比赛计分表word版
评论
0/150
提交评论