分析原因:  1:训练的batch_size太小

1. 当数据量足够大的时候可以适当的减小batch_size,由于数据量太大，内存不够。但盲目减少会导致无法收敛，batch_size=1时为在线学习。

2. batch的选择，首先决定的是下降方向，如果数据集比较小，则完全可以采用全数据集的形式。这样做的好处有两点，

1）全数据集的方向能够更好的代表样本总体，确定其极值所在。

2）由于不同权重的梯度值差别巨大，因此选取一个全局的学习率很困难。

3. 增大batchsize的好处有三点：

1）内存的利用率提高了，大矩阵乘法的并行化效率提高。

2）跑完一次epoch(全数据集)所需迭代次数减少，对于相同的数据量的处理速度进一步加快。

3）一定范围内，batchsize越大，其确定的下降方向就越准， 引起训练震荡越小 。

4. 盲目增大的坏处：

1）当数据集太大时，内存撑不住。

2）batchsize增大到一定的程度，其确定的下降方向已经基本不再变化。

1.learning rate设大了会带来跑飞（ loss 突然一直很大）的问题 这个是新手最常见的情况——为啥网络跑着跑着看着要收敛了结果突然飞了呢？可能性最大的原因是你用了relu作为激活函数的同时使用了softmax或者带有exp的函数做分类层的 loss 函数。当某一次训练传到最后一层的时候，某一节点激活过度（比如100），那么exp(100)=Inf，发... 可以看到虽然还没学习多少，但是我的val_ loss 已经开始出现了 震荡 的情况。但总体趋势还是在下降说明还有学习的空间。 loss 和val_ loss 的变化趋势反映的情况如下，可供参考： loss 下降，val_ loss 下降：训练网络正常，最好情况。 loss 下降，val_ loss 稳定：网络过拟合化，可以使用正则化和Max pooling。 loss 稳定，val_ loss 下降：数据集有严重问题，建议重新选择。 loss 稳定，val_ loss 稳定：学习过程遇到瓶颈，需要减小学习率或批量数目，可以减少学习率。 1 问题在深度学习的学习过程中，模型性能对batchsize虽然没有学习率那么敏感，但是在进一步提升模型性能时，batch_size就会成为一个非常关键的参数。batch_size对精度和损失的影响研究。batch_size = [,32,64,128，256]不同batch_size下的训练精度 曲线 ；不同batch_size下的训练 Loss 曲线 ；不同batch_size下的验证精度 曲线 ；不同ba... 我在模型训练的过程中出现了验证集 loss 低于训练集 loss 的情况，通过搜集资料，总结归纳如下原因： 原因1：在训练中应用正则化，但在验证/测试中未应用正则化 如果在验证/测试期间添加正则化损失，则损失值和 曲线 将看起来更加相似。 原因2：训练 loss 是在每个epoch测量的，而验证 loss 是在每个epoch后测量的 平均而言，训练损失的测量时间是前一个时期的1/2。如果将训练损失 曲线 向左移动半个epoch，则损失会更好。 原因3：验证集可能比训练集更容易（否则可能会泄漏(leaks)） 验证 loss 低于训练l 深度学习模型训练时 loss 值 震荡 剧烈的几个解决方案，找到原因，如输入的数据有误、batch_size过小、 loss 函数或者激活函数设置不合理、正则化处理不当、网络结构有问题等。 1、梯度消失或爆炸：神经网络层数较深，可能出现梯度消失或爆炸的情况，导致无法正确更新网络参数，从而导致 loss 函数的摆动。2、学习率过大或过小：学习率过大会导致训练过程中 震荡 ，而学习率过小会导致训练速度过慢，可能需要通过调整学习率来解决这个问题。3、过拟合或欠拟合：过拟合或欠拟合都可能导致训练后期的 loss 值波动较大。过拟合指模型在训练集上表现良好但在测试集上表现不佳，可能需要增加正则化项或减小模型复杂度；欠拟合指模型在训练集和测试集上表现都不佳，可能需要增加模型复杂度或增加训练数据量。 在训练网络的时候，常常会出现 loss 出现非常明显的剧烈抖动情况，虽然大多数情况可以继续训练下去，但是实际上还是预示着问题存在。而且，有不同维度的问题，这也需要不同的解决方法，但是具体究竟是哪一种，还得具体情况具体 分析 。 是否找到合适的 loss 函数：在深度学习里面，不同的 loss 针对的任务是有不同的，有些 loss 函数比较通用例如L1/L2等，而如perceptual loss 则比较适合在图像恢复/生成领域的任务上。当 loss 出现问题的适合，想一想，是不是 loss 设置的有问题，别人在此领域的任 loss 震荡 分析 ： loss 值在一段下降后突然激增，说明训练过程有细节上的问题，应该是在训练时，对权重和偏置的改变量过大所致。或者是在训练过程中，训练方法上有软逻辑错误。(比如大数据集下每跑一个数据进行一次权重偏置更新这种玄学问题) 检查训练软逻辑是否有错，尝试逐步减小learning rate，或者使用剃度裁剪或其他巧妙方法控制训练时梯度，避免梯度爆炸的问题。 这种 loss 值上下摆动的情况... 训练模型过程中随时都要注意目标函数值( loss )的大小变化。一个正常的模型 loss 应该随训练轮数（epoch）的增加而缓慢下降，然后趋于稳定。虽然在模型训练的初始阶段， loss 有可能会出现大幅度 震荡 变化，但是只要数据量充分，模型正确，训练的轮数足够长，模型最终会达到收敛状态，接近最优值或者找到了某个局部最优值。在模型实际训练过程中，可能会得到一些异常 loss 值，如 loss 等于nan；los... 变化趋势 分析 1.train loss 不断下降，test loss 不断下降，说明网络仍在学习;（最好的） 2.train loss 不断下降，test loss 趋于不变，说明网络过拟合;（max pool或者正则化） 3.train loss 趋于不变，test loss 不断下降，说明数据集100%有问题;（检查dataset） 4.train loss 趋于不变，test loss 趋于不变，说...