本文21年上旬发表于CVPR的关于无监督语义分割的文章。我个人不是专门做语义分割领域的，感觉无监督语义分割还是一块待开垦的沃土，做语义分割的小伙伴们可以尝试这个方向。首先本文针对之前无监督语义分割存在的两个问题：
1、分割时不同class的object像素点数量的不平衡问题
语义分割是像素级的分类问题，以往的无监督语义分割使用互信息的方式进行优化，然而由于不同class的object所包含的像素点个数不同（有时甚至差距很大），因此使用互信息会发生严重的样本不平和现象，由此导致的结果就是分割大大的偏向如天空，草地等占比大的objec（ leads to noisy representation as major classes）。
2、以往的无监督语义分割有一个重要的假设，即语义连贯性，然而在许多场景中，这种假设并不好，这会导致小object被忽略。

受到深度聚类方法（DeepCluster）的启发，本文提出了一种 两阶段迭代 的无监督语义分割方法： ① 首先通过特征提取网络 c ( . ) 的参数是固定的。
到这里，回到最开始的两个问题，第一个问题我们就可以给出解决方案了：在聚类结束后，统计每个类对应的像素点的数量，之后将其当做特征提取网络计算交叉熵时的权重，来抵消不同class样本不平衡带来的问题。
那么第二个问题是如何解决的呢，作者在本文提出了一种新的优化准则，即 照片变换（ photometric transformations 的不变性和几何变换的等变性。简单来说 照片变换 就是对输入图像做类似于颜色变换、明亮变换、高斯模糊等不改变像素点的语义信息（不改变得到的pseudo-label；几何变换则类似于随机翻转，随机剪切等。对图像做几何变换后再进行特征提取，等于对图像进行特征提取再做同样的几何变换。可以将以上两条准则归为以下监督损失：

其中


其中 PiCIE: Unsupervised Semantic Segmentation using Invariance and Equivariance in Clustering 论文解读和感想 PiCIE: Unsupervised Semantic Segmentation using Invariance and Equivariance in Clustering 论文解读和感想背景和动机本文21年上旬发表于CVPR的关于无监督语义分割的文章。我个人不是专门做语义分割领域的，感觉无监督语义分割还是一块待开垦的沃土，做语义分割的小伙伴们可以尝试这个方向。首先本文针对之前无监督语义分割存在的两个问题：1、分割时不同class的object像素点数量的不平衡问题语义分割是像素级的分类问题，