绥化二手车:优化学习率相关算法

admin 3个月前 (06-13) 科技 35 1

优化学习率的相关算法

在使用优化算法的时刻,常常会涉及到一些学习率的优化,那么我们应该怎么优化学习率呢?

调整学习率的计谋:

1.在斜率(偏向导数)大的地方,使用小的学习率

2.在斜率(偏向导数)小的地方,使用大的学习率

下面我们通过梯度下降算法举行学习率的优化剖析

在梯度下降中,设x[k]=a,那么沿着负梯度偏向,移动到x[k+1]=b,则有:

&NBsp;那么,从x[0]出发,每次沿着当前函数梯度反偏向移动一定的距离ak,将获得下面的序列:

 则对应的个点的函数值序列的关系为:

 当n迭代到一定值的时刻,这函数f(x)将收敛到局部的最小值。

我们将当前点记为x[k],当前的搜索偏向为dk(如:负梯度偏向),我们将学习率a看成自变量,因此,我们将函数f(x[k] + adk)看做是关于a的函数h(a),如下所示:

绥化二手车:优化学习率相关算法 第1张

 对于上述函数,当a=0时,h(0)=f(x[k]),对于函数h(a),其导数为:

绥化二手车:优化学习率相关算法 第2张

 在梯度下降中,梯度下降是为了寻找f(x)的最小值,那么,在x[k]和dk给定的前提下,即寻找函数f(x[k]+adk)的最小值, 即:

绥化二手车:优化学习率相关算法 第3张

 若是函数h(a)可导,那么对于局部最小值处的a知足:

绥化二手车:优化学习率相关算法 第4张

 下面我们就来盘算最优学习率:

1.当a=0时,我们带入获得:

绥化二手车:优化学习率相关算法 第5张

 2.对于下降偏向,选择负梯度偏向(或者选择与负梯度偏向夹角小于90度的偏向),即:

绥化二手车:优化学习率相关算法 第6张

 可以获得h‘(a) < 0

 3.由此,我们总是能够选择足够大的a,使得h'(a) > 0,这样,就一定存在某a,使得h'(a) = 0,此时的a即为要寻找的a值。

接下来我们可以接纳多种方式盘算a值:

1.线性搜索

最简朴的方式就是接纳二分线性搜索的方式,通过不停的将区间[a1,a2]分成两半,选择端点异号的区间,当区间分的足够小的时刻,我们就能获得一个足够好的最优学习率。

2.回溯线性搜索

 我们还可以接纳基于ARMijo准则盘算搜索偏向上的最大步长,其基本思想是沿着搜索偏向移动一个较大的步长估量值,然后以迭代形式不停缩减步长,直到该步长使得函数值f(xk+αdk)相对与当前函数值f(xk)的减小水平大于预设的期望值(即知足Armijo准则)为止。

绥化二手车:优化学习率相关算法 第7张

 

 两种方式的异同:

二分线性搜索的目的是求得知足h‘(α)≈0的最优步长近似值,而回溯线性搜索放松了对步长的约束,只要步长能使函数值有足够大的转变即可。 二分线性搜索可以削减下降次数,但在盘算最优步长上花费了不少价值;回溯线性搜索找到一个差不多的步长即可。

回溯线性搜索的思索:插值法

接纳多项式插值法(Interpolation) 拟合简朴函数,然后凭据该简朴函数估量函数的极值点,这样选择合适步长的效率会高许多。现在拥有的数据为: xk处的函数值f(xk)及其导数f’(xk) ,再加上第一次实验的步长α0。若是α0知足条件,显然算法退出;若α0不知足条件,则凭据上述信息可以组织一个二次近似函数: 绥化二手车:优化学习率相关算法 第8张

 这样,我们可以盘算导数为0的最优值。

一样平常的说,回溯线性搜索和二次插值线性搜索能够基本知足实践中的需要。

 

,

申博Sunbet

申博Sunbet-女性健康网www.99ruxian.com,免费提供女性保健常识、女性饮食、女性疾病、女性心理、女性情感、女性用品、女性孕育等女性健康知识。

AllBetGaming声明:该文看法仅代表作者自己,与本平台无关。转载请注明:绥化二手车:优化学习率相关算法

网友评论

  • (*)

最新评论

  • 欧博APP 2020-06-13 01:44:00 回复

    欧博会员开户欢迎进入欧博会员开户(Allbet Game):www.aLLbetgame.us,欧博官网是欧博集团的官方网站。欧博官网开放Allbet注册、Allbe代理、Allbet电脑客户端、Allbet手机版下载等业务。平台很靠谱

    1

站点信息

  • 文章总数:657
  • 页面总数:0
  • 分类总数:8
  • 标签总数:964
  • 评论总数:246
  • 浏览总数:10116