机器学习9:关于pytorch中的zero_grad（）函数

本文参考了博客 Pytorch 为什么每一轮batch需要设置optimizer.zero_grad 。

1.zero_grad（）函数的应用：

在pytorch中做随机梯度下降时往往会用到zero_grad（）函数，相关代码如下。

optimizer.zero_grad()                       # 将模型的参数梯度初始化为0

outputs=model（inputs）              # 前向传播计算预测值

loss = cost(outputs, y_train)           # 计算当前损失

loss.backward()                               # 反向传播计算梯度

optimizer.step()                               # 更新所有参数

2.zero_grad（）函数的作用：

根据pytorch中backward（）函数的计算，当网络参量进行反馈时，梯度是累积计算而不是被替换，但在处理每一个batch时并不需要与其他batch的梯度混合起来累积计算，因此需要对每个batch调用一遍zero_grad（）将参数梯度置0.

另外，如果不是处理每个batch清除一次梯度，而是两次或多次再清除一次，相当于提高了batch_size，对硬件要求更高，更适用于需要更高batch_size的情况。

博客：noahsnail.com  |  CSDN  |  简书 1. 引言 在 PyTorch 中 ，对模型参数的梯度置0时通常使用两种方式：model. zero _ grad ()和optimizer. zero _ grad ()。二者在训练代码都很常见，那么二者的区别在哪里呢？ 2. model. zero _ grad () model. zero _ grad ()的作用是将所有模型参数的梯度置为0。其源码如下： for p in self.parameters(): 一、设计理念论文下载：点击打开链接SSD和Yolo一样都是采用一个CNN网络来进行检测，但是却采用了多尺度的特征图，其基本架构下图所示。下面将SSD核心设计理念总结为以下三点：1.采用多尺度特征图用于检测所谓多尺度采用大小不同的特征图，CNN网络一般前面的特征图比较大，后面会逐渐采用stride=2的卷积或者pool来降低特征图大小，这正如图3所示，一个比较大的特征图和一个比较小的特征图，它们都用... 梯度清零 zero _ grad 的trick1梯度清零------变相增加batchsize2 梯度清零--------减小运行内存 1梯度清零------变相增加batchsize 传统的训练 函数 ，一个batch是这么训练的： for i, (image, label) in enumerate(train_loader): # 1. input output pred = model(image) loss = criterion(pred, label) # 2. ba 一、 zero _ grad 的用途 零梯度可改变：可利用requires_ grad _()方法修改tensor的requires_ grad 属性.可以调用.detach()或with torch.no_ grad ():,姜不再计算张量的梯度,跟踪张量的历史记录.这点在评估模型、测试模型阶段 中 常常用到. 转载自知乎： PyTorch 中 在反向传播前为什么要手动将梯度清零？ - Pascal的回答 - 知乎 传统的训练 函数 ，一个batch是这么训练的： for i,(images,target) in enumerate(train_loader): # 1. input output images = images.cuda(non_blocking=True) target ... 有两种方式直接把模型的参数梯度设成0： model. zero _ grad () optimizer. zero _ grad () # 当optimizer=optim.Optimizer(model.parameters())时，两者等效 如果想要把某一Variable的梯度置为0，只需用以下语句： Variable. grad .data. zero _() # Zero the grad ients befo... 这三个 函数 的作用是将梯度归零（optimizer. zero _ grad ()），然后反向传播计算得到每个参数的梯度值（loss.backward()），最后通过梯度下降执行一步参数更新（optimizer.step()）。简单的说就是进来一个batch的数据，先将梯度归零，计算一次梯度，更新一次网络。另外一种：将**optimizer. zero _ grad ()放在optimizer.step()**后面，即梯度累加。获取loss：输入图像和标签，通过infer计算得到预测值，计算损失 函数 ； pytorch 中 为什么要用 zero _ grad () 将梯度清零 pytorch 中 为什么要用 zero _ grad () 将梯度清零 调用backward() 函数 之前都要将梯度清零，因为如果梯度不清零， pytorch 中 会将上次计算的梯度和本次计算的梯度累加。这样逻辑的好处是，当我们的硬件限制不能使用更大的bachsize时，使用多次计算较小的bachsize的梯度平均值来代替，更方便，坏处当然是每次都要...