作者：朱勇椿  来源：王晋东不在家（ID：yourwjd）

转载请联系作者

本期我们将为大家介绍一种极为简单的 「深度子领域自适应的方法（DSAN）」 ，在大多数方法都使用很多项loss相加、越来越复杂的大环境下，这篇文章仅使用一个分类loss和一个自适应loss，方法极为简单，但是效果却非常不错，几乎在所有的主流DA数据集（office-home, office31, Image-CLEF,VisDA-2017, digits）上均有不错的效果。

这篇文章近期发表在一区期刊IEEE Transactions on Neural Networks and Learning Systems (IEEE TNNLS)上，主要作者团队来自中科院计算所与微软亚洲研究院。文章相关链接：

IEEE链接：https://ieeexplore.ieee.org/document/9085896

PDF：http://jd92.wang/assets/files/a24tnnls20.pdf

代码：https://github.com/easezyc/deep-transfer-learning/tree/master/UDA/pytorch1.0/DSAN

近年来无监督领域自适应（unsupervised domain adaptation, UDA）吸引了众多研究者的注意。Deep UDA的方法通常将目标领域数据和源领域数据通过一个深度神经网络提取特征，然后在这个特征空间中对两个领域的特征进行对齐（alignment），希望通过特征对齐减少两个领域间的特征差异。特征对齐的方法通常有两大类，metric-based和adversarial-based。在早期的研究中，大多数方法都进行全局对齐（不考虑任何细粒度的信息，比如标签），最近几年，开始出现了很多更细粒度的方法，这些方法将标签信息纳入考虑。

这些细粒度的方法通常是adversarial-based，众所周知，基于对抗的方法通常面临 收敛速度慢 ， 收敛难 的问题，并且会使用 一长串loss ，非常 复杂 。

这里介绍的这篇工作解决了上述一系列问题。首先，定义了 「子领域」 的概念，一个领域下可以依据一些条件，将相似的样本划分到一个子领域，比如使用类标签作为划分依据，同一类放到一个子领域（这篇文章采用类别作为划分依据）。接着不再进行全局对齐，而是分别对相关的子领域进行对齐。

子领域自适应的思想如图所示。

subdomain adaptation

基于子领域自适应的思想，这篇文章提出了一种极为简单的方法—— 「深度子领域自适应网络（Deep Subdomain Adaption Network, DSAN）」 。DSAN方法使用一种**Local MDD(LMMD)**来对齐分布，取得了近几年metric-based方法中最好的效果。

DSAN方法非常之简单，如下图所示：只使用LMMD在不同的层进行对齐。

我们使用类别划分来定义子领域，一个子领域就是一个类别，所以LMMD的定义如下：

注意，这里的w在这篇文章中是根据类别定义，实质上，w的定义是非常灵活的，这个部分很容易扩展，比如使用多个相近的类来定义子领域。权重w的定义如下：

这里源领域数据使用真实标签，而目标领域数据使用网络预测的概率分布。LMMD的展开式如下：

整个网络使用如下损失函数进行优化：

上述第一项使用交叉熵作为分类损失，第二项使用LMMD作为自适应损失。可以看到优化目标相比于大多数UDA的方法来说是非常简单的。

这篇文章的思想非常简单，但是效果却超越了大多数复杂的方法，在5个数据集上效果如下。

ImageCLEF:

Office31:

OfficeHome:

VisDA-2017:

digits:

DSAN取得了当前metric-based UDA方法最好的效果。和比较著名的JAN进行了一些分析实验：

并且将DSAN和现有的细粒度对齐的方法进行了比较，可以看出DSAN不使用对抗，并且loss少，超参数少，运行时间更快，达到的效果也更好：

近年来，越来越多的研究者为了解决DA问题，倾向于提出一些越来越复杂的方法。但是事实上，越简单的方法往往是越有效果的。因为它关注了DA的本质性问题，而不会被各种新颖的loss冲昏头脑不知道自己到底在干什么。DSAN是就是这样一种非常简单有效的细粒度方法。在未来，读者可以基于DSAN做很多扩展，也希望更多的研究者去做简单但抓住问题本质的方法， 「回归研究的本质」 ，而不是一味地堆叠各种炫酷的模块来达到目的。

References

[1] Zhu Y, Zhuang F, Wang J, et al. Deep Subdomain Adaptation Network for Image Classification[J]. IEEE Transactions on Neural Networks and Learning Systems, 2020.

本文作者：朱勇椿，中国科学院计算技术研究所博士生，研究方向为数据挖掘和迁移学习。

历史精华好文

• 专辑1：AI工程落地

• 专辑2：AI核心算法

• 专辑3：AI优质资源

请加微信号： y an_kylin_phenix ， 注明姓名+单位+从业方向+地点，非诚勿扰。

关注：决策智能与机器学习，深耕AI脱水干货作者：朱勇椿 来源：王晋东不在家（ID：yourwjd）转载请联系作者本期我们将为大家介绍一种极为简单的「深度子领域自适应的方法（DSAN）」... 深度学习 需要大量的标签样本，为解决标签问题提出了 迁移学习 ，即从相关的source dom ai n 去学习标签好的数据。但由于不同域间的数据分布也不同，所以学习得到的模型泛化能力不高。 在训练、测试数据的分布有变动的情况下去学习一个判别模型叫做dom ai n adaptation 或transfer distributions。 在 深度 特征学习中嵌入dom ai n adaptation模块去提取固定特征 已经证明能带来新的优势。之前的dom ai n adaptation都是在全局域上做迁移，导致一个域内不同 以往工作直接用 last click item embedding 用来表示 current preference 不妥 session 中所有的 item 并不一定能反映用户偏好，有些交互可能是因为误触、浏览无关的促销广告等行为产生的 对于 问题1，例 子 如下 例 子 中使用最后一个 item 预测的物品集合里面不存在真实的 target item 解决 方法 ： 论文提出了一个可学习的 embedding 用来刻画用户的 current preference，称为 targ