- 1、本文档共51页,可阅读全部内容。
- 2、原创力文档(book118)网站文档一经付费(服务费),不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
- 3、本站所有内容均由合作方或网友上传,本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺!文档内容仅供研究参考,付费前请自行鉴别。如您付费,意味着您自己接受本站规则且自行承担风险,本站不退款、不进行额外附加服务;查看《如何避免下载的几个坑》。如果您已付费下载过本站文档,您可以点击 这里二次下载。
- 4、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“版权申诉”(推荐),也可以打举报电话:400-050-0827(电话支持时间:9:00-18:30)。
- 5、该文档为VIP文档,如果想要下载,成为VIP会员后,下载免费。
- 6、成为VIP后,下载本文档将扣除1次下载权益。下载后,不支持退款、换文档。如有疑问请联系我们。
- 7、成为VIP后,您将拥有八大权益,权益包括:VIP文档下载权益、阅读免打扰、文档格式转换、高级专利检索、专属身份标志、高级客服、多端互通、版权登记。
- 8、VIP文档为合作方或网友上传,每下载1次, 网站将根据用户上传文档的质量评分、类型等,对文档贡献者给予高额补贴、流量扶持。如果你也想贡献VIP文档。上传文档
深度学习及其优化方法;Outline;深度学习的概念;DL训练过程;5/25;6/25;自动编码器;稀疏自动编码器;RBM;RBM;DBN;CNN;LossFunction一般形式;LossFunction一般形式;数学概念;数学概念;数学概念;优化方法;优化方法;优化方法;优化方法;优化方法;优化方法;优化方法;优化方法;优化方法;优化方法;优化方法;优化方法;优化方法;优化方法;此时,这个RMS就可以作为学习率的一个约束:
但克服了最速下降法收敛慢的缺点;
其中?x为列向量,A是n阶对称矩阵,b是n维列向量,c是常数。
进而可以求得出近似函数的全局最小值,然后将当前的最小值设定近似函数的最小值;
SGDwithmomentum
3、ConjugateGradients
SGD是最速梯度下降法的变种,每次只使用一个样本,迭代一次计算量为n2,当m很大的时候,随机梯度下降迭代一次的速度要远高于梯度下降:
对从1到进行一个递推形成一个约束项regularizer
因此,加上nesterov项后,梯度在大的跳跃后,进行计算对当前梯度进行校正。
将当前的最小值设定近似函数的最小值(或者乘以步长)。
RMSprop可以算作Adadelta的一个特例:
1、自动编码器(AutoEncoder)
此时Adadelta已经不用依赖于全局学习率了
对从1到进行一个递推形成一个约束项regularizer
、是对、的校正,这样可以近似为对期望的无偏估计。
对最大对数似然函数求导,就可以得到L最大时对应的参数W了。;优化方法-Momentum;优化方法-Momentum;优化方法-Nesterov;优化方法-Nesterov;优化方法-Adagrad;优化方法-Adagrad;优化方法-Adadelta;优化方法-Adadelta;优化方法-RMSprop;优化方法-RMSprop;优化方法-Adam;优化方法-Adam;优化方法-Adam;优化方法-Adamax;优化方法-Nadam;优化方法-Nadam;优化方法-Visualizationofalgorithms;如上图,其实就是限制每次得到的表达code尽量稀疏。
它利用梯度的一阶矩估计和二阶矩估计动态调整每个参数的学习率;
这个函数由m个实函数组成:
前期较小时候,regularizer较大,能够放大梯度;
当f(x)是下列形式:
不断在训练集中重复以上步骤,直到收敛。
此时Adadelta已经不用依赖于全局学习率了
选择n个训练样本(nm,m为总训练集样本数)
5、Mini-batchGradientDescent
在梯度改变方向的时候,能够减???更新;
如上图,其实就是限制每次得到的表达code尽量稀疏。
3、Jacobian矩阵
梯度下降需要把m个样本全部带入计算,迭代一次计算量为m*n2;优化方法-建议
您可能关注的文档
- 完整版酒店暖通安装工程施工组织设计方案.docx
- 2019跑步的益处-课件资料.ppt
- 脾胃科出科试题(可打印修改).pdf
- 心理健康说课稿.docx
- 全文解读2023年十个明确和十四个坚持、新时代十三个方面历史性成就解读课件.ppt
- 外派员工薪资管理办法.doc
- HPDS在公路沥青路面结构计算中的应用.docx
- 成语故事《毛遂自荐》故事及造句课件.pptx
- 初中化学专题复习-----氢氧化钙(氧化钙)的变质探究.pptx
- 厦门大学研究生学术规范问卷测试答案.doc
- 9知法守法依法维权第三课时(教学设计)-2023-2024学年部编版道德与法治六年级上册.docx
- 2024年简易劳动合同范例(三篇).docx
- Module 1 Unit 3 My birthday 第3课时(教学设计+素材)-2024-2025学年牛津上海版(三起)英语五年级上册.docx
- Unit 1 Topic 3 Section B教学设计2024-2025学年仁爱版英语九年级上册.docx
- 2024年公司财务个人年终工作总结经典版(三篇).docx
- Unit 1 Food matters writing拓展训练教学设计-2024-2025学年高中英语译林版(2020)选择性必修第一册.docx
- 2024年医生年度述职报告(七篇).docx
- 2024年农村小学学校工作总结参考模板(三篇).docx
- Unit 3 A day out Comic strip & Welcome to the unit教学设计2024-2025学年初中英语牛津译林版八年级上册.docx
- 2024年编辑工作总结(7篇).docx
最近下载
- 辽宁省沈阳市皇姑区2023-2024学年七年级上学期期末英语试卷 .Doc VIP
- 接力版一年级音乐上册二《(演唱)升旗》教学设计.doc
- 《How to write and publish a SCI paper》.ppt
- 走进重高_培优讲义__数学__八年级__上册_(浙教版).pdf
- 常见的有趣的长颈鹿.ppt
- 屠呦呦介绍-TUYOUYOU英文课件 PPT精品课件.ppt
- 第4课+物联网展望(课件)七年级信息科技下册(浙教版2023).pptx VIP
- 营养护理相关知识竞赛试题与答案.pdf VIP
- 承包人实施计划.docx VIP
- 第14课《酬乐天扬州初逢席上见赠》课件(29张PPT)部编版语文九年级上册.pptx
文档评论(0)