[华夏回报前002001]机器学习算法如何调参？这里有一份神经网络学习速率设置指南
每个机器学习的研究者都会面对调参进程的检测，而在调参进程中，学习速率（learning rate）的调整则又是十分重要的一部分。学习速率代表了神经网络中随时刻推移，信息累积的速度。在抱负情况下，咱们会以很大的学习速率开端，逐渐减小速度，直至丢失值不再发散。不过，说来简略做来难，本文作者对学习速率的调整思路进行了扼要介绍，希望能够对你有所协助。
在之前的文章里，我现已讲了怎么用反向传达和梯度下降来练习神经网络。为了练习神经网络，其间一个需求设置的要害超参数是学习率。提示一下，为了最小化此网络的丢失函数，这个参数缩放了权重更新的起伏。
假如你把学习率设置太低，练习会发展的很慢：由于你在网络的权重上只做了很少的调整。可是，假如你的学习率被设置的太高，它或许在你的丢失函数上带来不抱负的成果。我现已可视化了这些事例——假如你发现这些图很难了解，我主张你事前参阅一下（至少）我此前发布的关于梯度下降的榜首部分。
所以，咱们怎样找到最优学习速率呢？
让咱们看看 Tesla AI 主管、李飞飞高徒 Andrej Karpathy 怎么说：
推文：3e-4 是对 Adam 最好的学习速率，妥妥地~
完美，我觉得我的作业完结了
好吧，并没有……
第二条推：我想承认一下每个人都知道这是个打趣吧……？
神经网络的丢失函数地图（loss landscape）（下图所示）是网络参数值的函数，当在特定数据集上履行揣度（猜测）时量化与运用特定参数装备相关的「差错」。这个丢失地图或许关于很类似的网络架构也看起来很不同。下图来自论文《Visualizing the Loss Landscape of Neural Nets》，其间展现了残差衔接可发生更滑润的拓扑结构。
最优学习率取决于你的丢失地图的拓扑结构，也便是由你的模型结构和数据集。当你用默许的学习率（由你的深度学习库主动决议）能够供给一个差不多的成果，你也能够经过搜索最优学习率来进步体现。我希望你鄙人一部分发现这很简略。
一个找寻最优学习速率的系统化办法
终究，咱们希望得到一个学习率，极大地削减网路丢失。咱们能够在逐渐进步每一次小批量（迭代）的学习速率的一起经过做一个简略试验来调查，记载每一次增量之后的丢失。这个逐渐的增加能够是线性或指数的。
关于太慢的学习速率来说，丢失函数或许减小，可是依照十分浅陋的速率减小的。当进入了最优学习率区域，你将会调查到在丢失函数上一次十分大的下降。进一步增加学习速率会形成丢失函数值「跳来跳去」甚至在最低点邻近发散。记住，最好的学习速率调配着丢失函数上最陡的下降，所以咱们首要重视剖析图的斜度。
你应该为这个试验设置你的学习率边界然后你能看到一切的三个阶段，保证辨认最优规模。
![[华夏回报前002001]机器学习算法如何调参？这里有一份神经网络学习速率设置指南](https://www.wgzai.com/zb_users/upload/water/2024-01-31/65b9bc2b655b4.jpeg "[华夏回报前002001]机器学习算法如何调参？这里有一份神经网络学习速率设置指南")
from keras.callbacks import Callback
import matplotlib.pyplot as plt
class LRFinder(Callback):
'''
A simple callback for finding the optimal learning rate range for your model + dataset.
# Usage
```python
lr_finder = LRFinder(min_lr=1e-5, max_lr=1e-2, steps_per_epoch=10, epochs=3)
model.fit(X_train, Y_train, callbacks=[lr_finder])
lr_finder.plot_loss()
# Arguments
min_lr: The lower bound of the learning rate range for the experiment.
max_lr: The upper bound of the learning rate range for the experiment.
steps_per_epoch: Number of mini-batches in the dataset.
epochs: Number of epochs to run experiment. Usually between 2 and 4 epochs is sufficient.
# References
Blog post: jeremyjordan.me/nn-learning-rate
Original paper: arxiv.org/abs/1506.01186
'''
def __init__(self, min_lr=1e-5, max_lr=1e-2, steps_per_epoch=None, epochs=None):
super().__init__()
self.min_lr = min_lr
self.max_lr = max_lr
self.total_iterations = steps_per_epoch * epochs
self.iteration = 0
self.history = {}
def clr(self):
'''Calculate the learning rate.'''
x = self.iteration / self.total_iterations
return self.min_lr + (self.max_lr-self.min_lr) * x
def on_train_begin(self, logs=None):
'''Initialize the learning rate to the minimum value at the start of training.'''
logs = logs or {}
K.set_value(self.model.optimizer.lr, self.min_lr)
def on_batch_end(self, epoch, logs=None):
'''Record previous batch statistics and update the learning rate.'''
logs = logs or {}
self.iteration += 1
K.set_value(self.model.optimizer.lr, self.clr())
self.history.setdefault('lr', []).append(K.get_value(self.model.optimizer.lr))
self.history.setdefault('iterations', []).append(self.iteration)
for k, v in logs.items():
self.history.setdefault(k, []).append(v)
def plot_lr(self):
'''Helper function to quickly inspect the learning rate schedule.'''
plt.plot(self.history['iterations'], self.history['lr'])
plt.yscale('log')
plt.xlabel('Iteration')
plt.ylabel('Learning rate')
def plot_loss(self):
'''Helper function to quickly observe the learning rate experiment results.'''
plt.plot(self.history['lr'], self.history['loss'])
plt.xscale('log')
plt.xlabel('Learning rate')
plt.ylabel('Loss')
**设置一个学习速率表**
**步衰减**
关于一个简略的步衰减（step decay），咱们能够用 LearningRateScheduler 回调。
import numpy as np
from keras.callbacks import LearningRateScheduler
def step_decay_schedule(initial_lr=1e-3, decay_factor=0.75, step_size=10):
'''
Wrapper function to create a LearningRateScheduler with step decay schedule.
'''
def schedule(epoch):
return initial_lr * (decay_factor ** np.floor(epoch/step_size))
return LearningRateScheduler(schedule)
lr_sched = step_decay_schedule(initial_lr=1e-4, decay_factor=0.75, step_size=2)
model.fit(X_train, Y_train, callbacks=[lr_sched])
**周期性学习速率**
要使用周期性学习速率技巧，咱们能够参阅这个 repo（github/bckenstler/CLR），其已在论文中完结了该技能。实际上这个 repo 已在论文附录中被引证。
**带有重启的随机梯度下降**
要使用这个 SGDR 技巧，咱们能够参阅：github/keras-team/keras/pull/3525/files?
_原文链接：.jeremyjordan.me/nn-learning-rate/_
[](javascript:;)[](javascript:;)[
](javascript:;)
原文作者Jeremy Jordan，由机器之心编译出品，参加：黄小天、许迪
#机器学习、神经网络、算法#原文发布于宽客论坛，点击阅览原文