为什么ADF数据集很重要?

时间:2018-06-13 19:07:07

标签: azure azure-data-factory

在Azure Data Factory v2中,我创建了许多管道。我注意到我在那里创建的每个管道都创建了源和目标数据集。

根据ADF文档: 数据集是一个命名的数据视图,它只是将您要在活动中使用的数据指向或引用为输入和输出。

这些数据集在我的数据工厂中可见。我很好奇为什么我会关心这些?这几乎看起来像是在引擎盖下。 ADF创建的对象可以移动数据。这些对我有什么价值,为什么我会关心它们?

3 个答案:

答案 0 :(得分:0)

如果您通过“复制向导工具”创建管道,则可能会看到这些显示在工厂中。这将为您的Source&创建数据集;下沉。复制活动是ADF管道中数据集的主要使用者。

答案 1 :(得分:0)

这些数据集是可以重复使用的实体。例如,如果这些管道需要相同的数据(相同的表或相同的文件),则数据集A可以被许多管道引用。 链接服务也可以重复使用。我认为这就是为什么ADF有这些概念。

答案 2 :(得分:0)

如果使用ADFv2转换数据,则不需要DataSet。但是,如果使用ADF复制活动来复制数据,则使用DataSet让ADF知道要复制的对象的路径和名称。一旦创建了一个数据集,就可以在许多管道中使用它。您能帮忙让我了解更多为什么创建数据集会对您的项目产生摩擦?