本文共 3699 字，大约阅读时间需要 12 分钟。

学习率调度器在训练过程中起到了关键作用。本文将详细介绍几种常用的学习率调度策略，并展示其在PyTorch中的实现代码。

一、学习率调度器的作用

学习率调度器能够根据训练过程中的表现动态调整学习率，从而优化模型训练效果。本文将从以下几个方面探讨常见的学习率调度策略。

二、Step LR（分段学习率）

Step LR是一种简单而有效的学习率调度方法。它在一定的步数后将学习率按预定比例降低。以下是Step LR的实现代码：

import torch
import torch.optim as optim
from torch.nn import LeNet
# 初始化模型和优化器
net = LeNet(2)
optimizer = optim.SGD(net.parameters(), lr=0.01, momentum=0.9)
scheduler = torch.optim.lr_scheduler.StepLR(optimizer, step_size=10, gamma=0.1)
# 训练过程
for epoch in range(10):
    net.train()
    for i, data in enumerate(train_loader):
        optimizer.zero_grad()
        outputs = net(data)
        loss = criterion(outputs, labels)
        loss.backward()
        optimizer.step()
        scheduler.step()

三、Multi Step LR（多阶段学习率）

Multi Step LR允许在指定的阶段内调整学习率。以下是其实现代码：

import torch
import torch.optim as optim
from torch.nn import LeNet
# 初始化模型和优化器
net = LeNet(2)
optimizer = optim.SGD(net.parameters(), lr=0.01, momentum=0.9)
scheduler = torch.optim.lr_scheduler.MultiStepLR(optimizer, milestones=[50, 125, 160], gamma=0.1)
# 训练过程
for epoch in range(200):
    net.train()
    for i in range(20):
        optimizer.zero_grad()
        outputs = net(data)
        loss = criterion(outputs, labels)
        loss.backward()
        optimizer.step()
        scheduler.step()

四、Exponential LR（指数下降学习率）

Exponential LR通过每次迭代乘以一个固定的伽马值来调整学习率。以下是其实现代码：

import torch
import torch.optim as optim
from torch.nn import LeNet
# 初始化模型和优化器
net = LeNet(2)
optimizer = optim.SGD(net.parameters(), lr=0.01, momentum=0.9)
scheduler = torch.optim.lr_scheduler.ExponentialLR(optimizer, gamma=0.95)
# 训练过程
for epoch in range(200):
    net.train()
    for i in range(20):
        optimizer.zero_grad()
        outputs = net(data)
        loss = criterion(outputs, labels)
        loss.backward()
        optimizer.step()
        scheduler.step()

五、Cosine Annealing LR（余弦衰减学习率）

Cosine Annealing LR的学习率按余弦函数衰减。以下是其实现代码：

import torch
import torch.optim as optim
from torch.nn import LeNet
# 初始化模型和优化器
net = LeNet(2)
optimizer = optim.SGD(net.parameters(), lr=0.01, momentum=0.9)
scheduler = torch.optim.lr_scheduler.CosineAnnealingLR(optimizer, T_max=50, eta_min=0.)
# 训练过程
for epoch in range(200):
    net.train()
    for i in range(20):
        optimizer.zero_grad()
        outputs = net(data)
        loss = criterion(outputs, labels)
        loss.backward()
        optimizer.step()
        scheduler.step()

六、Reduce LROnPlateau（减少学习率于平台期）

Reduce LROnPlateau在验证集准确率达到平台期时减少学习率。以下是其实现代码：

import torch
import torch.optim as optim
from torch.nn import LeNet
# 初始化模型和优化器
net = LeNet(2)
optimizer = optim.SGD(net.parameters(), lr=0.01, momentum=0.9)
scheduler = torch.optim.lr_scheduler.ReduceLROnPlateau(optimizer, factor=0.1, mode='min', patience=10, cooldown=10, min_lr=1e-4)
# 训练过程
for epoch in range(200):
    net.train()
    for i in range(20):
        optimizer.zero_grad()
        outputs = net(data)
        loss = criterion(outputs, labels)
        loss.backward()
        optimizer.step()
    scheduler.step()

七、Lambda LR（lambda表达式调度）

LambdaLR允许使用自定义的lambda函数来调整学习率。以下是其实现代码：

import torch
import torch.optim as optim
from torch.nn import LeNet
# 初始化模型和优化器
net = LeNet(2)
optimizer = optim.SGD([{'params': [weights_1]}, {'params': [weights_2]}], lr=0.1)
scheduler = torch.optim.lr_scheduler.LambdaLR(optimizer, lr_lambda=[lambda epoch: 0.1 ** (epoch // 20), lambda epoch: 0.95 ** epoch])
# 训练过程
for epoch in range(200):
    net.train()
    for i in range(20):
        optimizer.zero_grad()
        outputs = net(data)
        loss = criterion(outputs, labels)
        loss.backward()
        optimizer.step()
    scheduler.step()

总结

以上是几种常用的学习率调度策略的实现代码和示例。选择合适的调度器取决于具体的训练任务和数据特点。通过合理设置学习率调度策略，可以显著提升模型的训练效果。