图像语义分割 以全卷积方式应用的卷积神经网络[42]（FCN [67,51]）在几个语义分割基准上取得了显着的成绩。在最先进的系统中，有两个重要组件： 多尺度上下文模块和神经网络设计 。众所周知，上下文信息对像素标记任务至关重要[26,69,37,39,16,54,14,10]。因此，PSPNet [87]在几个网格尺度上应用空间金字塔池化[21,41,24]（包括图像级池化[50]），而DeepLab [8,9]应用几个并行的有不同孔洞率的孔洞卷积[28,20,67,57,7]。另一方面，神经网络设计的改进极大地将性能从AlexNet [38]，VGG [71]，Inception [32,75,73]，ResNet [25]，推动到更新的架构，如Wide ResNet [ 85]，ResNeXt [84]，DenseNet [31]和Xception [12]。除了采用这些网络作为语义分割的主干网络之外，还可以采用编码器 - 解码器结构[63,2,55,44,60,58,33,78,18,11,86,82]，它们在保持对象详细边界的同时有效地捕获了长距离的上下文信息。然而，对于语义分割任务，大多数模型需要从经过ImageNet [64]预训练的checkpoint开始进行初始化，除了FRRN [60]和GridNet [17]。具体来说，FRRN [60]采用双流系统，其中一个流携带全分辨率信息，另一个流池携带上下文信息。GridNet建立在类似的想法之上，它包含多个具有不同分辨率的流。在本文工作中， 我们使用神经架构搜索找到特定于语义分割的网络骨干 。我们进一步展示了没有经过ImageNet预训练的最先进的性能，并且在Cityscapes[13]上显著优于FRRN [60]和GridNet [17]。

神经架构搜索方法 神经架构搜索旨在自动设计神经网络架构，从而最大限度地减少人工时间和工作量。虽然有些工作[22,34,91,49]搜索RNN单元用于语言任务，但更多工作搜索良好的CNN架构进行图像分类。

一些论文使用强化学习(reinforcement learning)（policy gradients[91,92,5,66]或Q-learning[3,88]）来训练递归神经网络，该神经网络表示一个策略，该策略用于生成一个符号序列，其中符号指定特定的CNN架构。RL的替代方案是使用进化算法（evolutionary algorithms,EA），通过改变迄今为止发现的最佳架构来“进化”架构[62,83,53,48,61]。然而，这些RL和EA方法在搜索过程中往往需要大量计算，通常需要单个GPU运行几千天。PNAS [47]提出了一种渐进式搜索策略，该策略显著降低了搜索成本，同时保持了搜索架构的质量。NAO [52]将架构嵌入到潜在空间中并在解码之前执行优化。此外，一些工作[59,49,1]利用了采样模型之间的架构共享，而不是单独训练它们中的每一个，从而进一步降低了搜索成本。 我们的工作遵循可微分的NAS公式[68,49]，并将其扩展到更一般的分层设置中 。

神经架构搜索空间 早期论文，如[91,62]，试图直接构建整个网络。然而，最近更多的论文[92,47,61,59,49]已转向搜索可重复的单元结构，同时保持外部网络级结构手动固定。这种策略在[92]中首次提出，很可能是受到现代CNN中常用的两级分层结构的启发。

我们的工作仍然使用此单元级搜索空间，从而与以前的工作保持一致。然而，我们的一个贡献是提出一个新的通用网络级搜索空间，因为我们希望联合搜索这个两级分层结构。我们的网络级搜索空间与[66]相似，但重要的区别在于[66]保持整个“结构”无意改变架构，而 我们将每个连接的权重显式关联起来并专注于解码单个分离的结构 。同时，[66]是对人脸图像分为3类[35]进行评估，而我们的模型则在大规模数据集上进行评估，如Cityscapes [13]，PASCAL VOC 2012 [15]和ADE20K [89]。

与我们最相似的工作是[6]，它也研究NAS用于图像语义分割。然而， [6]专注于使用随机搜索方法搜索更小的孔洞空间金字塔池（Atrous Spatial Pyramid Pooling,ASPP）模块，而我们专注于使用更先进和更有效的搜索方法搜索更基本的网络骨干架构 。

本节介绍我们的两级分层结构搜索空间。 对于内部单元级（第3.1节），我们复用[92,47,61,49]中采用的方法，从而与以前的工作保持一致。对于外部网络级（第3.2节），我们基于对许多流行设计的观察和总结提出了一种新颖的搜索空间。

我们将一个小的全卷积模块定义为一个 单元 （cell），通常它会在整个神经网络中重复很多次。更具体地说，一个单元是由 O 的集合由以下8个操作(operator)组成，这些操作在现代CNN中都很普遍：

• 3 × 3的深度分离卷积
• 5 × 5的深度分离卷积
• 3 × 3的孔洞卷积 ，孔洞率为2
• 5 × 5的孔洞卷积 ，孔洞率为2
• 3 × 3的平均池化
• 3 × 3的最大池化
• 跳跃连接(skip connection)
• 无连接(no connection(zero))

对于可能的组合操作(combination operators) C 的集合,我们只采用简单的对应元素相加这个方法。

在由[92]开创的图像分类NAS框架中，一旦找到单元结构，整个网络就使用预定义的模式构建。因此，网络级不是架构搜索的一部分，因此其搜索空间从未被提出或设计过。

这种预定义的模式简单明了：通过插入“缩小单元”（将空间分辨率除以2并将滤波器数乘以2的单元），将许多“正常单元”（保持特征张量空间分辨率的单元）平等的分隔开。这种下采样策略在图像分类情况下是合理的，但在密集图像预测中，保持高空间分辨率也很重要，因此存在更多的网络级别变化[9,56,55]。

在用于密集图像预测的各种网络架构中，我们注意到两个一致的原则：

• 下一层的空间分辨率要么是两倍大，要么是两倍小，要么保持不变。
• 最小的空间分辨率是下采样32倍。

遵循这些常规做法，我们提出以下网络级搜索空间。网络的开头是一个双层“枝干”(stem)结构，每个枝干都将空间分辨率降低2倍。之后，总共有L层具有未知空间分辨率的单元，分辨率的最大值是被下采样4倍，最小值是被下采样32倍。由于每层空间分辨率可能至多为2倍不同，因此枝干后的第一层只能被下采样4倍或8倍。我们在图1中说明了我们的网络级搜索空间。我们的目标是在这个L层网格中找到一条好的路径。

在图2中，我们展示了我们的搜索空间足以覆盖许多流行的设计。在未来，我们计划进一步放宽这个搜索空间以包括U-net架构[63,45,70]，其中层 l 之前的一个层接收输入。

我们重申，除了单元级架构之外，我们的工作还会搜索网络级架构。 因此，我们的搜索空间比以前的作品更具挑战性和通用性。

我们首先介绍与上述分层架构搜索完全匹配的连续松弛的（指多数个）离散架构。然后，我们讨论如何进行架构搜索优化，以及如何在搜索终止后解码一个离散架构。

我们复用了[49]中描述的连续松弛。每一个块的输出 ^sH^l = \beta^l_{\frac{s}{2} \to s}Cell(^\frac{s}{2}H^{l-1}, ^sH^{l-2};\alpha) \\ + \beta^l_{s\to s}Cell(^sH^{l-1}, ^sH^{l-2};\alpha) \\ + \beta^l_{2s\to s}Cell(^{2s}H^{l-1}, ^sH^{l-2};\alpha) \tag{6} s H l = β 2 s ​ → s l ​ C e l l ( 2 s ​ H l − 1 , s H l − 2 ; α ) + β s → s l ​ C e l l ( s H l − 1 , s H l − 2 ; α ) + β 2 s → s l ​ C e l l ( 2 s H l − 1 , s H l − 2 ; α ) ( 6 )
其中， \beta^l_{\frac{s}{2} \to s} + \beta^l_{s\to s} +\beta^l_{2s\to s}=1 \ \ \ \ \forall s,l \tag{7} β 2 s ​ → s l ​ + β s → s l ​ + β 2 s → s l ​ = 1 ∀ s , l ( 7 )
\beta^l_{\frac{s}{2} \to s} \geq 0\ \ \beta^l_{s\to s} \geq 0\ \ \beta^l_{2s\to s} \geq 0\ \ \ \ \forall s,l \tag{8} β 2 s ​ → s l ​ ≥ 0 β s → s l ​ ≥ 0 β 2 s → s l ​ ≥ 0 ∀ s , l ( 8 )
公式6显示了如何将两级分层结构的连续松弛编织在一起。特别地， α 既不依赖于空间大小也不依赖于层索引。

如图1所示，孔洞空间金字塔池化(Atrous Spatial Pyramid Pooling,ASPP)模块被添加到第L层的每个空间分辨率上（相应地调整孔洞率）。它们的输出会双线性上采样到原始分辨率，然后求和以产生预测。

引入这种连续松弛的优点是控制不同隐藏状态之间的连接强度的标量现在是可微分计算图的一部分 。因此，它们可以通过梯度下降方法得到有效的优化。我们采用[49]中的一阶近似，并将训练集分为两个不相交的集合trainA和trainB。 优化在以下二者之间交替进行：

在这里，我们报告我们的架构搜索实现细节以及搜索结果。然后，我们报告使用我们最好的架构在基准数据集上的语义分割结果。

我们考虑网络中总共 B × F × s 。

我们在Cityscapes数据集上进行用于图像语义分割的架构搜索。更具体地说，我们使用 train_fine 集中一半分辨率(512×1024)的图像进行随机图像裁剪，得到321×321图像。我们随机选择 train_fine 中一半的图像当做 trainA ，另一半为 trainB （参加4.2节）。

在总数为40的epochs中进行架构搜索优化。由于GPU显存限制，设置batch size为2。当学习网络权重 β 值的连接。 我们观察到在前3/4层中有进行下采样，并在最后的1/4层中进行上采样的一般趋势 。在单元级架构方面， 经常使用孔洞卷积和深度可分卷积的结合，这表明已经学习了上下文的重要性 。注意，很少发现孔洞卷积在用于图像分类的单元中是有用的。（在NASNet- {A，B，C}、PNASNet- {1,2,3,4,5}、AmoebaNet- {A，B，C}、ENAS、DARTS中，孔洞卷积仅在AmoebaNet-B的缩小单元中使用一次）

我们在Cityscapes[13]，PASCAL VOC 2012[15]，和ADE20K数据集上评估我们找到的最好的架构的性能。

我们遵循[9,11]中的相同训练协议。简单来说，在训练期间，我们采用初始学习率为0.05的多项式学习率[50]，和大的裁剪图像（例如，Cityscapes上的769×769，以及PASCAL VOC 2012上的513×513和ADE20K的resized图像）。在训练阶段微调Batch normalization参数[32]。这些模型从头开始训练，在Cityscapes上进行1.5M迭代，在PASCAL VOC 2012上进行1.5M迭代，在ADE20K上进行4M迭代。

多项式学习率： l r = b a s e _ l r ∗ ( 1 − m a x i t e r i t e r ​ ) p o w e r power=0.9

我们采用类似于DeepLabv3 +的简单编码器 - 解码器结构[11]。具体来说，我们的编码器由我们发现的最佳网络架构与ASPP模块[8,9]组成，我们的解码器与DeepLabv3 +中的解码器相同，后者通过利用具有下采样率4的低级特征来恢复边界信息。此外，我们重新设计了具有三个3×3卷积的“枝干”结构（在第一和第三卷积中步长为2）。前两个卷积有64个滤波器，而第三个卷积有128个滤波器。这种“枝干”已在[87,77]中证明对分割有效。

Cityscapes[13]包含5000张高质量像素级标注的1024×2048图片（2975,500,和1525张分别用于训练集，验证集和测试集），以及大约20000张粗略标注的训练图片。遵循[13]中的评估标准，排除考虑空标签，剩下的19个语义标签用来进行评估。

在表2，我们报告了在Cityscapes验证集上的结果。与MobileNets[29,65]类似，我们通过改变filter multiplier F 来改变模型容量(capacity)。如表中所示，更高的模型容量导致更好的性能，代价是速度更慢（由更大的Multi-Adds表示）。

在表3，我们表明，当采用我们的轻量级模型变体Auto-DeepLab-S时，将训练迭代次数从500K增加到1.5M迭代可将性能提高2.8％。此外，采用Scheduled Drop Path[40,92]进一步提高了1.74％的性能，在Cityscapes验证集达到79.74％。

然后我们在表4中报告测试集结果。 在没有任何预训练的情况下，我们的最佳模型（Auto-DeepLab-L）明显优于FRNN-B [60] 8.6％和GridNet [17] 10.9％。使用额外的粗略标注进行训练，没有在ImageNet [64]预先训练的情况下，我们的模型Auto-DeepLab-L实现了82.1％的测试集性能，优于PSPNet [87]和Mapillary [4]，并获得与DeepLabv3 + [11]相同的性能，同时比它减少了55.2％的Mutli-Adds计算。值得注意的是，我们的轻量级变体Auto-DeepLab-S在测试集上达到80.9％，与PSPNet相当，而仅使用10.15M参数和333.25B Multi-Adds。

PASCAL VOC 2012 [15]包含20个前景对象类和一个背景类。我们使用[23]提供的额外标注来扩充原始数据集，从而生成10582( train_aug )张训练图像。

在表5，我们报告测试集的结果。我们的最佳模型Auto-DeepLab-L，单尺度推理明显优于[19] 20.36％。此外，对于我们所有的模型变体，采用多尺度推理可将性能提高约1％。在COCO [46]上进一步预训练我们的模型进行4M次迭代可以显着提高性能。

最后，我们在表6中报告模型变体经过COCO预训练后在PASCAL VOC 2012测试集的结果。如表中所示，我们的最佳模型在测试集上的性能达到85.6％，优于RefineNet [44]和PSPNet [87]。我们的模型比表现优异的以Xception-65作为网络骨干的DeepLabv3 + [11]落后2.2％。我们认为PASCAL VOC 2012数据集太小，无法从头开始训练模型，在这种情况下，在ImageNet上进行预训练仍然是有益的。

ADE20K [89]拥有150个语义类别和高质量标注的20000张训练图像和2000张验证图像。在我们的实验中，图像都被调整大小，以便在训练期间长边是513。

在表7中，我们报告验证集结果。我们的模型优于一些最先进的模型，包括RefineNet [44]，UPerNet [82]和PSPNet（ResNet-152）[87]。然而，在没有任何ImageNet [64]预训练的情况下，我们的性能落后于 [11]的最新工作。

在本文中，我们首次尝试将神经网络搜索技术从图像分类扩展到密集图像预测问题。我们承认空间分辨率变化的重要性，不固定在单元级上，将网络级整合到搜索空间中来体现架构变化。我们还开发了一种可微分的公式，它允许我们在两级分层搜索空间中实现高效（比DPC [6]快大约1000倍）的架构搜索。搜索的结果Auto-DeepLab是通过从头开始在基准语义数据集进行训练评估得来的。在Cityscapes上，Auto-DeepLab明显优于之前的最新技术8.6％，并且在利用粗略注释时与经过ImageNet预训练的顶级模型相当。在PASCAL VOC 2012和ADE20K上，Auto-DeepLab也优于多个经过ImageNet预训练的最先进模型。

未来的工作有很多可能的方向。在目前的框架内，目标检测等相关应用应该是合理的。我们还可以尝试以很小的计算开销解决不同层的单元架构 论文地址：https://arxiv.org/pdf/1901.02985v1.pdf 参考文章：https://mp.weixin.qq.com/s/xbkFUfJbaw_h_bCZj3pdAQ 斯坦福大学李飞飞组的研究者提出了 Auto - Deep Lab ，其在图像 语义分割 问题上超越了很多业内最佳模型，甚至可以在未经过预训练的情况下达到预训练模型的表现。 论文主要有如下4个方面的贡献： 现有的（传统的） CNNs 由于有全连接层所以必须需要固定输入图片的尺寸，比如 224 × 224。本文为传统的网络结构增加了一个池化策略，即空间金字塔池化，spatial pyramid pooling，来突破全连接层对整个网络输入图像的约束。 关注上方“深度学习技术前沿”，选择“星标公众号”，技术干货，第一时间送达！【导读】今天给大家整理了CVPR2020录用的几篇神经网络架构搜索方面的论文，神经网络架构搜索又称为 Neural ... 如上图b所示，该论文提出一种利用画布的方式将空间信息考虑在内的图像检索方式。这种检索方式属于多模态的图像检索，即在检索中，queries和database属于不同的模态。 在此前的图像检索领域中，大多是对语义相近或者视觉内容相近的图像进行检索，相应的特征也往往是为了图像的语义或者视觉内容而提取的。但是为了实现空间语义特征的图像检索，仅仅只有语义特征或者视觉特征是不可能实现的，因此需要一种特殊... 图像分割，和图像分类、图像检测可以称为是深度学习视觉领域的三个基础研究课题，图像分割的经典深度学习算法有FCN、Mask R-CNN、 Deep Lab 等。2019年，谷歌和斯坦福大学合作，推出了 Auto - Deep Lab ，将NAS用于图像分割的领域里，改进 Deep Lab 的算法。 Auto - Deep Lab 的论文全名是 Auto - Deep Lab : Hier ac hi ca l Neural Architecture Search for Sem ant ic Image Segment ion 。在设计上，借鉴了DARTS论文的方 自动网络搜索 多数神经网络结构都是基于一些成熟的backbone，如ResNet, MobileNet，稍作改进构建而成来完成不同任务。正因如此，深度神经网络总被诟病为black-box，因为hyparameter是基于实验求得而并非通过严谨的数学推导。所以，很多DNN研究人员将大量时间花在修改模型和实验“调参”上面，而忽略novelty本身。许多教授戏称这种现象为“graduate student descent”。 近两年，学术界兴起了“自动网络搜索”取代人工设计网络结构。2016年，Google Br 前言：本文将介绍如何基于ProxylessNAS搜索 sem ant ic segmentat ion 模型，最终搜索得到的模型结构可在CPU上达到36 fps的测试结果，展示自动网络搜索（NAS）在 语义分割 上的应用。随着自动网络搜索（ Neural Architecture Search ）技术的问世，深度学习已慢慢发展到自动化设计网络结构以及超参数配置的阶段。尤其在AI落地的背景下，许多模型需要部署在移动端... 本文总结了google的 deep lab 系列其中 deep lab v3+处于state-of-the-art，最近 auto - deep lab 问世，其使用最新的神经架构搜索技术，简化搭建网络结构步骤和减少训练网络的用时。 语义分割 的机器学习存在如下问题: ①CNN 语义分割 引入了多孔卷积、空间金字塔池 化( Atrous Spatial Pyramid Pooling，ASPP) 结构带来更 多超参数( 如图 1 所示) ; 从像素级标注图像上计算损 失，样本不均衡、误标准的问题均比 CNN 图像分类更 突出，导致机器学习更难收敛，对 HPO 有更高要求。 ② 受益于具有 1 000 类对象、1 500 万张图像的 大型分类数据集 ImagNet，图像分类任务中可将 CNN 作为特征提取器应用至新任务中［14］。 上面的t hi s work表示的就是实例分割（instance segmentat ion ）. 要理清这几个概念，需要明白图像分割中的t hi ngs 和 stuff的区别。图像中内容可以按照有没有固定形状分成t hi ngs和stuff.其中 人车等有固定形状的物体属... 废话不多说，下面正式开始主要谈谈这篇文章的重点和创新之处。 文章还是延续之前 Deep Lab 系列的风格框架，采用atrous convolut ion 在保证卷积特征分辨率不变的基础上实现感受野的指数级扩大（ 语义分割 任务的challenge之一）。本文的关注点在于：如何更好的解决multi-s ca le问题，即分割目标具有不同的大小（ 语义分割 任务的chal 1  FCN 相对CNN的优点 1) 2014年，加州大学伯克利分校的Long等人提出的完全卷积网络(Fully Convolut ion al Networks)，推广了原有的CNN结构，在不带有全连接层的情况下能进行密集预测。 这种结构的提出使得分割图谱可以生成任意大小的图像，且与图像块分类方法相比，也提高了处理速度。在后来，几乎所有关于 语义分割 的最新研究都采用了这种结构。 【导语】本文基于动手深度学习项目讲解了FCN进行自然图像 语义分割 的流程，并对U-Net和 Deep lab 网络进行了实验，在Github和谷歌网盘上开源了代码和预训练模型，训练和预测的脚本已经...