迁移学习和元学习之间的区别

Question

meta learning和transfer learning有什么区别？

我已经阅读了Quora和TowardDataScience上的2篇文章。

元学习是机器学习理论的一部分，其中一些 将算法应用于有关案例的元数据，以改善 机器学习过程。元数据包括有关 使用算法，学习任务本身等。使用元数据， 更好地选择学习算法来解决 问题更有效。

和

转移学习旨在改善学习新任务的过程 利用解决前辈问题获得的经验 有点相似。实际上，大多数情况下，机器学习 模型旨在完成一项任务。但是，作为人类， 我们利用过去的经验，不仅重复同样的事情 未来的任务，但也学习全新的任务。也就是说，如果 我们尝试解决的新问题与过去的情况类似 经验，对我们来说变得更加容易。因此，出于使用目的 机器学习中相同的学习方法，转移学习 包括转移一个或多个来源过去经验的方法 任务，并利用它来促进相关目标任务的学习。

比较仍然使我感到困惑，因为两者在可重用性方面似乎有很多相似之处。 Meta learning被称为“不可知模型”，但它使用先前学习的任务中的元数据（超参数或权重）。 transfer learning也是如此，因为它可能会部分地重用受过训练的网络来解决相关任务。我知道还有很多要讨论的内容，但从广义上讲，我认为两者之间没有太大区别。

人们还使用meta-transfer learning之类的术语，这使我认为两种学习类型之间都具有很强的联系。

Answer 1

我认为主要的区别在于，转移学习期望任务彼此之间非常相似，而元学习却与此不同。

在转移学习中，任何参数都可以传递给下一个任务，但是元学习更具选择性，因为传递的参数应该编码为学习方法，而不是解决先前任务的方法。

Answer 2

在迁移学习中，我们使用大型数据集预训练模型参数，然后使用这些参数作为初始参数对其他具有较小数据集的任务进行微调。这种经典的预训练方法不能保证学习初始化 有利于微调。 在元学习中，我们学习了一组初始参数，只需几个梯度步骤，就可以在另一个类似的任务上轻松地对这些参数进行微调。它通过微调过程直接优化了这种初始化差异化的性能。