本文共 2955 字，大约阅读时间需要 9 分钟。

optimization_tutorial.html

12:21PM

PyTorch 快速入门教程

[优化内容]

PyTorch 优化模型参数

PyTorch 的简单优化模型参数教程

代码示例：PyTorch 采用随机梯度下降优化模型参数

本文将展示如何在 PyTorch 中优化模型参数，帮助你更好地理解如何通过反向传播和优化算法调整模型权重。

步骤如下：

模型类继承自.nn.Module，包含必要的层序和激活函数。初始化时定义网络结构，包括输入层、隐藏层和输出层。

2. 创建模型实例，并将其移到 GPU

创建模型实例后使用 .to(device) 将其移到 GPU 上加速训练。

3. 定义损失函数和优化器

选择合适的损失函数（如交叉熵损失）和优化器（如 SGD）。损失函数用于计算预测误差，优化器用于调整模型参数。

4. 通过反向传播优化模型

训练循环中，批量加载数据，计算模型预测结果，计算损失，并反向传播误差，最后更新模型参数。

5. 定期打印训练信息

每隔一定数量的批次打印训练损失和准确率，以监控训练进度和模型收敛情况。

示例代码：

import torch
from torch import nn
from torch.utils.data import DataLoader
from torchvision import datasets
from torchvision.transforms import ToTensor
# 加载 Fashion-MNIST 数据集
training_data = datasets.FashionMNIST(
    root="data",
    train=True,
    download=True,
    transform=ToTensor()
)
test_data = datasets.FashionMNIST(
    root="data",
    train=False,
    download=True,
    transform=ToTensor()
)
batch_size = 64
# 创建数据加载器
train_dataloader = DataLoader(training_data, batch_size=batch_size)
test_dataloader = DataLoader(test_data, batch_size=batch_size)
class NeuralNetwork(nn.Module):
    def __init__(self):
        super(NeuralNetwork, self).__init__()
        self.flatten = nn.Flatten()
        self.linear_relu_stack = nn.Sequential(
            nn.Linear(28*28, 512),
            nn.ReLU(),
            nn.Linear(512, 512),
            nn.ReLU(),
            nn.Linear(512, 10),
            nn.ReLU()
        )
    def forward(self, x):
        x = self.flatten(x)
        logits = self.linear_relu_stack(x)
        return logits
model = NeuralNetwork().to("cuda" if torch.cuda.is_available() else "cpu")
learning_rate = 1e-3
# 定义损失函数和优化器
loss_fn = nn.CrossEntropyLoss()
optimizer = torch.optim.SGD(model.parameters(), lr=learning_rate)
# 迭代训练
epochs = 5
for epoch in range(epochs):
    print(f"Epoch {epoch+1}")
    
    # 训练循环
    for batch, (X, y) in enumerate(train_dataloader):
        X, y = X.to("cuda", device=X.device), y.to("cuda", device=y.device)
        pred = model(X)
        loss = loss_fn(pred, y)
        
        # 反向传播
        optimizer.zero_grad()
        loss.backward()
        optimizer.step()
        
        if batch % 100 == 0:
            print(f"损失：{loss.item():.7f} [{batch * len(X)}/{len(train_dataloader)}]")
    
    # 验证循环
    model.eval()
    test_loss, correct = 0, 0
    with torch.no_grad():
        for X, y in test_dataloader:
            X, y = X.to("cuda", device=X.device), y.to("cuda", device=y.device)
            pred = model(X)
            test_loss += loss_fn(pred, y).item()
            correct += (pred.argmax(1) == y).sum().item()
    
    avg_loss = test_loss / len(test_dataloader.dataset)
    accuracy = (correct / len(test_dataloader.dataset)) * 100
    print(f"验证结果：准确率：{accuracy:.1f}%，平均损失：{avg_loss:.8f}")

本文展示了如何在 PyTorch 中通过代码实现模型参数的优化设计。通过定义模型、损失函数和优化器，结合反向传播和训练循环，实现模型的高效训练和优化。

PyTorch 的优化器默认情况下支持多 GPU 加速，能够显著提升训练速度。通过定期验证模型性能（如准确率和损失函数值），可以更好地监控模型训练过程。

完整示例代码可在相关 PyTorch 文档中获取。通过实践练习，可以更深入地理解 PyTorch 的优化过程。