本文共 1302 字，大约阅读时间需要 4 分钟。

如何监控PyTorch训练中学习率的变化

在PyTorch框架中，您可以轻松地跟踪和调整优化器的学习率，从而实现更有效的训练过程。下面将详细介绍如何在训练过程中获取当前学习率。

首先，确保导入了必要的库和模型：

import torch
import torch.nn as nn
import torch.optim as optim

创建一个简单的分类模型便于操作。你可以选择预训练的模型以节省时间和计算资源。例如，您可以使用预训练的ResNet50模型：

net = se_resnet50(num_classes=5, pretrained=True)

接下来的关键是初始化一个合适的优化器。这里我们选择SGD优化器，并设置初始学习率：

optimizer = optim.SGD(net.parameters(), lr=0.01, momentum=0.9)

仅仅初始化模型和优化器是不够的，您还需要定义训练循环以实际训练模型。在训练循环中，记得在每一步（通常在每个epoch结束时或每个batch结束时）打印当前学习率。

每次更新优化器参数后，可以通过以下方式查看和打印学习率：

for epoch in range(num_epochs):
    net.train()
    running_loss = 0.0
    for inputs, labels in dataloaders:
        optimizer.zero_grad()
        outputs = net(inputs)
        loss = criterion(outputs, labels)
        loss.backward()
        optimizer.step()
        running_loss += loss.item() * inputs.size(0)
    
    epoch_loss = running_loss / len(dataloaders.dataset)
    print('Epoch:', epoch+1, 'Loss:', epoch_loss)
    print('Current LR:', optimizer.state_dict()['param_groups'][0]['lr'])

这样，在每个 epoch 结束时，就会打印出当前学习率。例如，当训练完成后，您可能会看到类似以下输出：

Epoch: 1 Loss: 0.2345
Current LR: 0.01

理解当前学习率有助于您调整训练策略。如果学速率太低，可能需要增加学习率。如果学速率太高，可能需要降低它。PyTorch 提供的优化器状态允许您实时动态地追踪学习速率的变化，这对于优化模型训练效果至关重要。

在实际应用中，您可以根据需要调整打印的频率。例如，是否只打印学习率在特定条件下才会变化，或者每个batches打印一次，或者只在验证集阶段打印。总之，掌握如何获取和分析优化器中的学习速率是PyTorch训练中非常重要的技能。