1. 首页
      2. 你所在的职位: 首页 > 正文

        每日五分钟机器学习:随机梯度下降算法运行过程中可能出现的情景狗万会员登录,狗万手机版,狗万网站

        2019-08-29 点击:581

          2019 多少实验室

          本文重点

          咱今天已经清楚了随机梯度下降算法原理是什么了,但是我们还有一对问题需要解决,顶你运行随机梯度下降算法时,如何检测算法是否收敛呢?

          批量梯度下降算法

          批量梯度下降算法已经收敛的一个标准是丹青出最优化的零售价函数关于迭代次数的生成,咱要保证代价函数J(θ)在每一次的迭代中都是降低的。

          随机梯度下降算法

          书法每做1000先后迭代(1000个样本),咱会得到此时的θ值,下一场计算最后1000个样本的cost值的期望值,下一场画出来,穿越这些画出的图像我们就能检测出随机梯度下降算法是否收敛,可能会得到如从四种情形:

          

          关键种情形(蓝线),书法的代价值其实是在下降,下一场会从某一点开始会变缓,这表明算法是主导收敛了。如果试一试更小的上学率,这就是说算法下降就有可能变得缓慢了,但是有可能得到一个好一些之解(复线),于是能得到更好的解是因为随机梯度下降不是直接收敛到全局最小值,而是在全局最小值附近反复震荡,从而当我们采取一个小一点之上学率的时光,最后的震动就会小,就有可能得到一个更好一点之人口数,之所以得到一个更低的零售价值。

          其次种情形(蓝线),这看起来是已经收敛了,如果此时我们把1000增长到5000组样本,这就是说此时我们可以得到一枝更加平滑的经纬线(复线),这就是咱们增大样本数之事态,当然增大样本的缺点就是:先前俺们要想获得图上的一个数目点只要求计算最后1000个样本,而如今需要计算最后5000个样本,之所以我们得到关于学习算法的举报会有一部分延迟

          {!-- PGC_COLUMN --}

          先后三种情形(蓝线),这种情况下我们可以理解我们的零售价函数并没有滑坡。咱可以增加来使得函数更加平缓,也许便能见到下降的倾向了(复线)或者可能函数图表仍然是颠簸不平且不下降的(洋红色线),这就是说我们的模子本身可能生存一些错误。

          先后四种情形,咱发现曲线实际上是上升之,这是一番很显然的信号,咱这儿需要采取一个更小一点之上学率a。

          总结

          咱采取的这种方式不需要定时地扫描整个训练集,来算出整个样本集的零售价函数,而是只要求每次对终极 1000 个,或者多少个样本,求一下年产值。

          使用这种方式,你既可以保证随机梯度下降法正在例行运作和收敛,也得以用她来调整学习速率α的大小。

          随机梯度下降算法运行过程中可能出现的情景17.4

          本文重点

          咱今天已经清楚了随机梯度下降算法原理是什么了,但是我们还有一对问题需要解决,顶你运行随机梯度下降算法时,如何检测算法是否收敛呢?

          批量梯度下降算法

          批量梯度下降算法已经收敛的一个标准是丹青出最优化的零售价函数关于迭代次数的生成,咱要保证代价函数J(θ)在每一次的迭代中都是降低的。

          随机梯度下降算法

          书法每做1000先后迭代(1000个样本),咱会得到此时的θ值,下一场计算最后1000个样本的cost值的期望值,下一场画出来,穿越这些画出的图像我们就能检测出随机梯度下降算法是否收敛,可能会得到如从四种情形:

          

          关键种情形(蓝线),书法的代价值其实是在下降,下一场会从某一点开始会变缓,这表明算法是主导收敛了。如果试一试更小的上学率,这就是说算法下降就有可能变得缓慢了,但是有可能得到一个好一些之解(复线),于是能得到更好的解是因为随机梯度下降不是直接收敛到全局最小值,而是在全局最小值附近反复震荡,从而当我们采取一个小一点之上学率的时光,最后的震动就会小,就有可能得到一个更好一点之人口数,之所以得到一个更低的零售价值。

          其次种情形(蓝线),这看起来是已经收敛了,如果此时我们把1000增长到5000组样本,这就是说此时我们可以得到一枝更加平滑的经纬线(复线),这就是咱们增大样本数之事态,当然增大样本的缺点就是:先前俺们要想获得图上的一个数目点只要求计算最后1000个样本,而如今需要计算最后5000个样本,之所以我们得到关于学习算法的举报会有一部分延迟

          {!-- PGC_COLUMN --}

          先后三种情形(蓝线),这种情况下我们可以理解我们的零售价函数并没有滑坡。咱可以增加来使得函数更加平缓,也许便能见到下降的倾向了(复线)或者可能函数图表仍然是颠簸不平且不下降的(洋红色线),这就是说我们的模子本身可能生存一些错误。

          先后四种情形,咱发现曲线实际上是上升之,这是一番很显然的信号,咱这儿需要采取一个更小一点之上学率a。

          总结

          咱采取的这种方式不需要定时地扫描整个训练集,来算出整个样本集的零售价函数,而是只要求每次对终极 1000 个,或者多少个样本,求一下年产值。

          使用这种方式,你既可以保证随机梯度下降法正在例行运作和收敛,也得以用她来调整学习速率α的大小。

          随机梯度下降算法运行过程中可能出现的情景17.4

        日期归档
        狗万会员登录 自主经营权所有© www.3rbnews.net 艺术支持:狗万会员登录 | 血站地图