我一直在阅读 Transfer Learning 上的一些论文和博客文章。我意识到有些人说“不同”，而另一些人说“不同但相似”。现在，我很困惑。
说
D是域。 T是任务。
a是源，因此源域是Da，源任务是Ta。
a'与a不同，但与a类似。
b与a。
不同
Ms是从Da和Ta中学到的源模型。
Mt是目标模型。
MS可以在哪个目标域任务组合中将其知识转移给Mt？
1. (Da, Tb)
2. (Db, Ta)
3. (Da', Tb)
4. (Db, Ta')
5. (Da', Ta)
6. (Da, Ta')
7. (Da', Ta')
8. (Db, Tb)
老实说，我知道5、6、7是可能的，因为论文是这样说的。而且我怀疑8会起作用（不是吗？）。
但是，域或任务为b的1、2、3、4呢？
答案 0 :(得分：2)
这取决于源域和目标域的不同。如果源域和目标域没有相似之处，则无法通过在任务域上进行预训练来改进目标域中任务的模型。但是，如果有相似之处，例如从任何图像域到几乎任何其他图像域，并且源域数据集很大，将模型从源域转移到目标域可能有助于规范化模型并改善目标域的泛化性。尤其是在目标域数据集较小的情况下。
在深度学习中，您要重新初始化（从随机权重中进行训练）更多的层（从上到下），并根据源域和目标域以及源任务和目标任务的不同程度进行更多的微调。
答案 1 :(得分：1)
在自然语言处理（NLP）领域中，有很多关于领域适应的研究，在您描述的所有情况下（＃1-＃8），对于NLP所谓的“不同领域”，您都可以从中受益。 “-例如新闻专栏文字对比推文文字对比临床放射学报告文字；是的，即使在＃8中也是如此。
但是，您可以有更多个“域名”（域名（IMHO）并不是真正的域名），例如，英文文本与中文文本；或英文文字与英文录音。即使在这种情况下，也可以做一些迁移学习，但要限制得多；因此，这实际上取决于您在“这是一个不同的域”与“这是一种完全不同的输入数据”之间划清界限的地方。