Domain Adaptation 介绍
:::info
了解Domian Adaptation之前，先了解 迁移学习（Transfer Learning）
:::
迁移学习（Transfer Learning）通俗来讲就是学会举一反三的能力，通过运用已有的知识来学习新的知识，其核心是找到已有知识和新知识之间的相似性，通过这种相似性的迁移达到迁移学习的目的。世间万事万物皆有共性，如何合理地找寻它们之间的相似性，进而利用这个桥梁来帮助学习新知识，是迁移学习的核心问题。
迁移学习主要是将源域（source domain）上面学习到的知识，迁移到目标域(target domain)上，用来提升在目标域上的效果，迁移学习还有多种学习方法。
当有足够的带标签的目标域数据的时候，这个时候往往采用Pretrain_Finetune的方式。意味着我们要在源域上面Pretrian,再进行目标域上的finetune,但是这也意味着我们源域的数据量往往要足够大，如果在源域上面Pretrain的数据量太少，往往模型并不能在源域上学习太多有用的特征，再进行Finetune的时候往往会给模型增大学习的难度。有时候，我们也会采用多任务联合训练的方法（Multi-task Learning）.
但是，当我们的目标域也就是目标任务只有少量的带标注数据。或者无带标注的数据的时候，上述两种任务就无法采用，因此，Domain Adaptation 就产生了。
Domain Adaptation的主要思想
其模型主要的基础架构是：特征提取器（feature extractor）和分类器（classifier）两个部分。特征提取器用在源域样本或者目标域样本上面提取特征表示，然后分类器可以根据提取的特征表示进行具体的分类任务。其特征提取器主要是为了让源域和目标域是特征表示是同分布的。在后面分类器就可以使用源域数据上续联好的模型预测目标域数据了，也解决了目标域上的无标签迁移学习了。
Domain Adaptation主要解决的是缺少标注的源域目标域数据分布差异的问题，一般的，是为了增强模型的泛化能力,让模型可以学习到更多的知识，泛化到更多的场景。
其又会根据数据分布差异分为：
homogeneous 同质：target 与 source domain 特征空间相似，但数据分布存在 distribution shift
heterogeneous 异构：target 与 source domain 特征空间不同
non-equal：空间不同且数据偏移，这种就属于差异很大的情况了，可借助中间辅助data来bridge the gap，用multi-step / transitive DA来解决
Domain Adaptation基本方法
Domain Adaptation的基本思想就是训练一个feature extractor ,会让其生成的源域和目标域的数据特征分布一致。其中论文Analysis of representation for domain adaptation（NIPS 2017）当中会有详细阐述。两个domain数据分布的差异是target domain预测误差的下界，在当前主要有两种基本方法：
- 基于分布距离度量的约束方法。
- 基于对抗学习的方法。
基于分布距离度量的约束方法：
基于分布距离分度量约束方法主要是通过引入了生成特征距离表示损失函数，通过最小化生成特征距离表示损失函数，来达到源域和目标域生成的特征表示数据分布尽可能的一致。而常见的基于分布距离度量的约束的Domian Adaptation主要是包括以下一些工作：
Deep Domain Confusion: Maximizing for Domain Invariance (MMD)
论文地址：https://arxiv.org/abs/1412.3474
其技术主要是：
其模型主要架构如下：
其余的如损失函数等细节请看原文，这里就不做过多赘述了
下面的工作又是在上面的工作基础上进行完善
Learning Transferable Features with Deep Adaptation Networks
论文地址：https://arxiv.org/abs/1502.02791
如果想看中文翻译可以参考该博客：https://blog.csdn.net/weixin_37993251/article/details/89236836
基于对抗学习的方法：
对抗学习的主要方法就是，如果生成器生成的特征数据分布能够混淆辨别器的分布，那就说明学习到的特征在同一个特征空间了。
一般主要是同时训练feature extractor和一个discriminator , discriminator 主要是用于判断feature extractor生成的表述来自哪个domain。通过两个优化任务的对抗训练，最终让feature extractor生成的特征表示使discriminator无法分辨哪个来自source domain哪个来自target domain,使得不同的domain生成的特征同分布。在整个过程中discrminator代替了基于分布距离度量约束方法中衡量分布差异的距离度量函数、
如果还有不知道什么是对抗学习的可以建议看下面这篇工作：
Generative Adversarial Networks（GAN）是对抗学习的开山之作
论文源地址：arxiv.org/abs/1406.26…
同时推荐几个经典工作：
Simultaneous Deep Transfer Across Domains and Tasks
论文源地址：arxiv.org/abs/1510.02…
Domain Adaptation前沿技术
在比较前沿的技术里我列举了CVPR在域适应领域一些文章供大家参考：
1.Domain Adaptation with Auxiliary Target Domain-Oriented Classifier
**abstract：**领域适应（DA）旨在将知识从标签丰富但异质的领域转移到标签稀疏的领域，这减轻了标签工作的负担，并引起了广泛的关注。与以前专注于学习领域不变特征表示的方法不同，一些最新方法提出了通用的半监督学习（SSL）技术，并将其直接应用于DA任务，甚至获得了出色的性能。最受欢迎的SSL技术之一是伪标记，它通过经过标记数据训练的分类器为每个未标记的数据分配伪标记。但是，它忽略了DA问题中的分布变化，并且不可避免地偏向于源数据。为了解决这个问题，我们提出了一种新的伪标记框架，称为辅助目标域定向分类器（ATDOC）。ATDOC通过仅针对目标数据引入辅助分类器来减轻分类器偏差，从而提高伪标签的质量。具体而言，我们采用存储机制并开发两种类型的非参数分类器，即最近的质心分类器和邻域聚合，而无需引入任何其他网络参数。尽管在伪分类目标中简单易行，但具有邻域聚合功能的ATDOC在许多DA基准测试甚至是带有标签的SSL任务上，其性能均明显优于域对齐技术和先前的SSL技术。
论文地址：www.aminer.cn/pub/6052e10…
2.Dynamic Transfer for Multi-Source Domain Adaptation
**abstract：**多源领域自适应的最新工作集中于学习与领域无关的模型，该模型的参数是静态的。但是，这样的静态模型难以处理多个域之间的冲突，并且在源域和目标域中都遭受性能下降的困扰。在本文中，我们提出了动态转移来解决域冲突，其中模型参数适用于样本。关键的见解是跨领域的适应模型是通过跨样本的适应模型实现的。因此，它打破了源域壁垒，并将多源域变成了单源域。这也简化了源域和目标域之间的对齐，因为它只要求目标域与源域联合的任何部分对齐。此外，我们发现可以通过汇总残差矩阵和静态卷积矩阵来简单建模动态传递。实验结果表明，在不使用域标签的情况下，我们的动态传输在大型多源域适应数据集DomainNet上的性能比最新方法高出3％以上。
论文地址：www.aminer.cn/pub/6058654…
3.Transferable Semantic Augmentation for Domain Adaptation
**abstract:**通过将知识从标签丰富的源域转移到相关但未标记的目标域，已广泛探索了域适应。大多数现有的域自适应算法都在共享源监督分类器的指导下，致力于跨两个域自适应特征表示。但是，这样的分类器限制了对未标记目标识别的泛化能力。为了解决这个问题，我们提出了一种可转移语义增强（TSA）方法，通过隐式生成针对目标语义的源特征来增强分类器的适应能力。特别是，TSA受到以下事实的启发：向某个方向的深度特征转换可以表示为原始输入空间中有意义的语义更改。因此，可以增强源特征，以有效地配备目标语义，以训练更具可移植性的分类器。为此，对于每个类别，我们首先使用域间特征均值差和目标类别内特征协方差来构建多元正态分布。然后，我们使用从分布中逐级采样的随机方向扩展源特征。有趣的是，这种源扩展是通过在扩展源分布上的预期可传递交叉熵损失来隐含地实现的，其中，预期损失的上限被导出并最小化，从而引入了可忽略的计算开销。作为一种轻量级的通用技术，TSA可以轻松地插入各种域自适应方法中，从而带来了显着的改进。跨域基准测试的综合实验验证了TSA的功效。
论文地址：www.aminer.cn/pub/605b1e3…
