本文共 545 字，大约阅读时间需要 1 分钟。

$$AdamW$$

��� ������Torch������

���PyTorch���������AdamW������������������������������������������

optimizer = torch.optim.AdamW(model.parameters(), lr=1e-4, weight_decay=1e-3)

���������������������������������������zero_grad���������������������������������������������������������

optimizer.zero_grad()
# loss.backward()  # ������������
optimizer.step()

������������������������������������������������ReduceLROnPlateau������������

lr_step = torch.optim.lr_scheduler.ReduceLROnPlateau(optimizer, factor=0.5, patience=5)
lr_step.step(val_dice)