AlexNet（2012）的主要贡献就是在2012年的ImageNet比赛中一举以碾压优势夺冠，开启了用卷积神经网络做图像处理的先河。

AlexNet的 网络结构 如下：

下面还是来关注一下有关AlexNet的卷积操作计算问题（按照上面给出的计算方法是可以算出来的）

layer1： 卷积层

layer2： 最大池化层 （注意：池化层是没有参数的，这一层的参数量为0！）

下面是AlexNet的详细结构图和参数，以及AlexNet当时的一些创新点

ZF-Net（2013），额。。。。这个实在没啥好讲的，其只是对AlexNet做了一点小小的改进。比如将AlexNet的卷积核改小，增加每一层的神经元个数等。

上图中的16.4% -> 11.7%代表的是卷积神经网络在ImageNet数据集上的错误率（人类在这个数据集上的错误率大概为5%）

其实VGG-Net（2014）也算是一个小里程碑，VGG-Net现在也很常见，其对比与Alex-Net的主要改进为： 更小的卷积核，更深的网络 ，VGG-Net的网络架构如下：

那么现在有个问题，VGG-Net的两个改进，为什么会能提高网络的性能呢？

使用更小的卷积核是当前在保证网络精度的情况下，减少参数的趋势之一，在VGG16中，使用了 5 ∗ 5 卷积核。使用更小的卷积核 堆叠 来代替一个大的卷积核，这样做的主要目的是：

• 在保证相同感受野的情况下
• 提升网络的深度
• 提升网络的非线性表达能力（层数多）
• 降低网络模型的参数量

以下简单地说明一下小卷积( x ，下面主要介绍以下四部分：

在GoogLeNet（2014）之前，网络的设计思路是一直在stack（堆叠）层数，当时的假设是网络越deeper，网络的performance越好。到了2014年，GoogLeNet横空出世，GoogLeNet改变了这个假设：除了增加 深度 ，还增加了网络的 宽度 。GoogLeNet的结构如下：

下面我们一步步来推倒出 Inception module 的设计，先来看初始版本的 Naive Inception module 。Naive Inception module就是对同一个输入，用不同大小的卷积核去卷积，然后分别把它们的结果给concatenate（注意这里要求不同卷积操作输出的feature map的大小要相同，不然没法特征拼接呀）起来。但这样有个问题：计算量太大了！

注：上图 p a d d i n g = 2 （为保证不同卷积操作输出的特征图大小一样，以便于后面的特征拼接）

Naive Inception module的计算量的计算过程如下，可见Naive Inception module的计算量是相当大的（这还只是一层）。

那么我们应该如何减少计算量呢？用的是什么理念和思想呢？

这就不得不提到从2014年一直延续至今的神经网络设计思想： bottleneck 。使用 bottleneck （即

所以到这里，Naive Inception module就升级为了 Inception module 。

此时这一个Inception module的计算量为358M ops，相比之前的854M ops，使用“bottleneck”的Inception module的计算量降低了一半多！

到这里，Inception module的结构就介绍完了，而GoogLeNet的架构就是多个Inception module一层一层地stack（ 堆叠 ）出来的，下面是GoogLeNet的整体架构的介绍。

注：上图中可以看到有三个分类输出头，为什么要用三个classifier呢？结合GoogLeNet的论文，我个人认为有以下几点原因：

• 一般认为深度越深，越有可能产生梯度消失的问题。这里深度不同的三个classifier可以有效缓解梯度消失问题，即浅层的classifier也可以回传误差，缓解梯度消失问题。
• CNN深度越深的层，提取的特征语义信息越丰富，深度越浅的层提取的特征更基础，包含更多的位置信息，所以并不是深度越深的层提取的特征一定好于较浅层提取的特征。这里在不同深度的层上面都加了一个output layer，可以做一个模型的ensemble，这可能会提升模型的效果。

Inception-V2主要有两点改进：

1. Add Batch Normalization based on Inception-V1.
2. Replace 5x5 and 7x7 conovolutional kernels with 3x3.

其结构如下：

• Inception-V4 introduces skip connections (ResNet) compared with previous Inception series.

即Inception-V4大概就相当于之前的 Inception + ResNet ，因为后面马上就要介绍ResNet，所以这里就不再详细介绍Inception-V4了，只给出其结构图，如下：

• Very deep networks using residual connections

ResNet（2016）之后，CNN真正到了层数能超过100层（常用ResNet 50，101，152）的时代（甚至训了一个1202层的ResNet，，，吓人）。训练很深的神经网络有一个问题，深度太深，梯度回传困难，很容易发生梯度消失或者爆炸的问题，就是这个原因一直阻碍人们stack更深的网络（因为训不了），很深的模型在模型优化的时候会非常难。

那么如何解决deeper model训练优化困难的问题呢？
solution： 引入残差，使模型训练更easy => 更深的模型性能表现更好这个愿望终于实现了！

Residual Block 的结构如下：

如上所示，ResNet实际上并没有直接学 F ( x ) = H ( x ) − x 。如果了解BP算法（反向传播算法）的话，可能比较好理解反向传播的本质就是链式求导，而ResNet学习的是残差，这样的话在求偏导时就不会出现导数为0的情况（学了一个残差，所以要对残差求偏导）。所以使用ResNet，我们可以训练更深的网络。

ResNet的结构如下：

当然，想优化还可以继续优化……

下面是以上所讲网络模型的性能分析图：

终于到最后一个了，为啥CSDN不能发表情包！难以表达我现在的心情（手动笑哭 * 50）

现在我们有三种方式来处理不同卷积层之间的特征图：

• Standard Connectivity
• Residual/Skip Connectivity
• Densenet: Dense Connectivity

这三种方式的图示如下：

DenseNet的思想是某一层的输入是其前面每一层的输出，即将不同层得到的特征图进行融合作为某一层的输入，这样CNN的每一层就可以得到前面不同层提取的特征（浅层位置等基础信息，深层语义信息），这样网络的表达能力会更好。图示如下：

大家看到这里可能会想，如果每一层的特征图都这样堆叠下去，那么特征图的层数不就无限增长了吗，这样特征的维度就会爆炸！
solution： 用之前提到的 1 ∗ 1 卷积啊！bottleneck降维

下图是 Dense Blocks 的结构图，在每个Dense Blocks内部，每层的feature map的大小是一致的（方便特征融合），不同Dense Blocks之间有Pooling层用于减小feature map的大小。

至此，DenseNet也算介绍完了，上面就是目前较为常见的基础CNN网络的介绍，重点关注每种网络的设计理念和思想。

欢迎大家有问题积极讨论，谢谢。