计算机视觉深度学习入门五讲：优化篇.pdf

Going Deep For CV: Optimization 计算机视觉深度学习入门五讲：优化篇 优化？什么优化？ CNN模型的一阶优化逻辑：Gradient Descent, Subgradient, SGD, BP 训练稳定性：Annealing + Momentum 抗拟合：从Dropout到Weight Decay 竞争优化器：RMSProp, Adadelta, Adagrad, ADAM 多机并行：Hogwild! 手动超参优化逻辑： 优化：往何处去 所有的机器学习问题 最终都是优化问题 有监督：优化预测准确率或者损失函数 无监督：优化类内方差、类间距离度量、信息压缩率 强化学习：时间轴上的综合收益 Gradient Descent Subgradient 凸函数分段可微分时 What is Stochastic 反推法学习 人怎么学习？ 不懂深度学习，我要先看深度学习的组成（结构/优化算法/数据） 不懂结构？看论文。不懂论文公式推导？看微积分/代数 不懂优化算法？看书和论文公式。 不懂数据？下载数据并用Python研究。不懂Python ？看例子上手写码 Back Propagation 『错误追责制』 Learning Rate: Annealing lr = [0.1,0.01,0.001,0.0001] Momentum/Nesterov DropOut Weight Decay Rethink Weight Decay Weight Decay: L2? L1? Why Batch Normalization Works? Is feature vector Gaussian? Rethink Bilinear 竞争优化器：好/快 RMSProp Adadelta Adagrad ADAM 竞争优化器 Hogwild! A Lock-Free Approach to Parallelizing Stochastic Gradient Descent. (Niu, 2011) Asynchronous SGD You should know … SGD vs .SVRG BSP(conventional)/ASP(asynchronous)/SSP (w./staleness) Architectures: HDD/Web/PCI-E I/O 手动超参优化 DL穷三代，超参毁一生 实验设计: Repeatable Sensitivity / Ablation Study 可微分图: Gradient Descent/Back Propagation 组合优化: Genetic Algorithm Design Of Experiments 参数空间：2^N ~ k^N N比较小 Combinatorial Optimization TSP 问题标准解法 定基因- 定评价- [杂交- 优选-] *N - Suboptimal 超参优化：向何处去 Google: AutoML 超参优化：向何处去 Reinforce Learning What is: Max Reward Given Action Set on State Imaginiation-Augmented Agents for Deep Reinforce Learning Learning Model-based Planning From Scratch Thanks For Attention