《人工智能基础与应用》教学课件—5-4-优化器及优化方法.pptxVIP

优化器及优化方法 优化方法 迭代次数 参数值 更新后的参数值 1 1 1-2×1×0.2=0.6 2 0.6 0.6-2×0.6×0.2=0.36 3 0.36 0.36-2×0.36×0.2=0.216 4 0.216 0.216-2×0.216×0.2=0.1296 5 0.1296 0.1296-2×0.1296×0.2=0.0778 学习率设置 学习率决定了每次参数更新的幅度，学习率太大，会在极值点左右摆动，导致找不到最优解，学习率太小，找最优解的过程又很漫长，所以，设置一个合适的学习率至关重要。 一般在训练过程中学习率并不是一直不变的，学习率是随着训练的过程而逐渐减小的。如需要根据全局的学习步数，通过指数衰减实现学习率的减小。