刷新图像分割新记录！OneFormer：规则通用图像分割的Transformer

CVer计算机视觉

一句话总结

刷新ADE20K全景/实例分割新记录！本文提出OneFormer：一个新的多任务通用图像分割框架，以统一语义、实例和全景分割，性能优于Mask2Former、UPerNet等网络，代码刚刚开源！

点击关注 @CVer计算机视觉，第一时间看到最优质、最前沿的CV、AI工作~

点击进入—> 图像分割和Transformer微信技术交流群

OneFormer

OneFormer: One Transformer to Rule Universal Image Segmentation

单位：俄勒冈大学, UIUC, IIT, PAIR

主页： https:// praeclarumjj3.github.io /oneformer/

代码： https:// github.com/SHI-Labs/One Former

论文： https:// arxiv.org/abs/2211.0622 0

主要贡献

通用图像分割并不是一个新概念。过去几十年中统一图像分割的尝试包括场景句法分析、全景分割，以及最近的新全景架构。然而，这样的全景架构并没有真正统一图像分割，因为它们需要在语义、实例或全景分割上单独训练以达到最佳性能。理想情况下，一个真正通用的框架应该只训练一次，并在所有三个图像分割任务中实现SOTA性能。

为此，我们提出了OneFormer，我们首先提出了一种任务条件联合训练策略，该策略允许在单个多任务训练过程中对每个领域的ground truths（语义、实例和全景分割）进行训练。

其次，我们引入了一个任务token，以手头的任务为条件来约束我们的模型，使我们的模型任务动态，以支持多任务训练和推理。

第三，我们提出在训练期间使用查询-文本对比损失来建立更好的任务间和类间区别。

实验结果

值得注意的是，我们的单一OneFormer模型在 ADE20k, CityScapes, and COCO上的所有三个分割任务中都优于专门的Mask2Former模型，尽管后者以三倍的资源分别针对三个任务中的每一个进行训练。使用新的ConvNeXt和DiNAT主干，我们观察到更多的性能改进。我们相信OneFormer是朝着使图像分割更加普遍和可访问迈出的重要一步。