数据工厂在不同的本地DB上具有多个输出

时间:2017-08-31 07:51:24

标签: azure-data-factory

我希望有一个数据工厂,其中包含一个管道和一个活动,可将数据从Azure数据库移动到单独的本地数据库。单独的DB位于不同的数据中心,并且需要在一天中的不同时间复制不同的数据,而不是以相等的间隔复制数据。美国东部标准时间早上4点,美国东部标准时间早上5点,美国东部标准时间早上11点

我知道我每个数据中心都需要一个数据管理网关,但是如何安排一个活动以便它在一天中的不同时间运行(不是以相等的间隔)并且每次运行都是不同的通过单独的数据管理网关

进行本地数据库

1 个答案:

答案 0 :(得分:0)

您需要为每个计划定义不同的活动和数据集。这不太理想。但目前ADF的局限性是您唯一的选择。它的就像一个SQL Agent,你可以为同一个作业提供多个计划。

您可以拥有1个管道。但是你需要4x活动。 4x输入数据集和4x输出数据集。在你的问题(例如美国东部标准时间凌晨4点,美国东部时间早上5点,美国东部时间上午11点,美国东部时间下午6点)中提供你的例子。

要实际处理不同的时间,请使用数据集和管道中的偏移属性。

数据集JSON块示例:

"availability": {
  "frequency": "Day",
  "interval": 1,
  "style": "StartOfInterval",
  "offset": "00.05:00:00" // <<<< 5AM start.
 },

活动JSON块示例:

    "scheduler": {
      "frequency": "Day",
      "interval": 1,
      "style": "StartOfInterval",
      "offset": "00.05:00:00" // <<<<<5AM start. Matching the dataset.
    }

数据集当然可以指向数据库中的同一个表。但只是名字不同。

希望这有帮助。