Azure数据工厂管道触发时间

时间:2017-03-01 11:22:14

标签: azure azure-data-factory

这可能很简单,但我很难理解Azure Data Factory Pipeline的确切触发时间。我按照MS教程创建了一个DF管道,用于将数据从Blob复制到Azure SQL。

我在3月1日至3月16日14:14(格林威治标准时间上午10点44分)"创建了一个管道。以下预定,

开始日期 - 02/28/2017 12:00 AM UTC

结束日期 - 03/04/2017 11:59 PM UTC

在1天内重复

创建管道后,立即运行以下窗口,

Window Start - 02/28/2017 12:00 AM UTC

Window End - 03/01/2017 12:00 AM UTC

尝试结束 - 03/01/2017 10:45 UTC

尝试开始 - 03/01/2017 10:44 UTC

现在我的问题是为什么它没有运行窗口(03/01/17 12:00 AM UTC到03/02/17 12:00 AM UTC)因为管道是仅在这个时间窗口之间创建的。我的意思是它跑了最后一天的窗口但不是当天的窗口。

那么在每个窗口中触发管道的确切时间是什么时候?

正如Paul所说,这里有更多配置值,

管道:

"policy": {
            "timeout": "1.00:00:00",
            "concurrency": 1,
            "executionPriorityOrder": "NewestFirst",
            "style": "StartOfInterval",
            "retry": 3,
            "longRetry": 0,
            "longRetryInterval": "00:00:00"
        },
        "scheduler": {
            "frequency": "Day",
            "interval": 1
        },

"start": "2017-02-28T00:00:00Z",
    "end": "2017-03-04T23:59:00Z",

来源数据集:

"availability": {
        "frequency": "Day",
        "interval": 1
    },
    "external": true,
    "policy": {},

目的地数据集:

"availability": {
        "frequency": "Day",
        "interval": 1
    },
    "external": false,
    "policy": {},

以下是执行日志

Start & End Time
03/01/2017 12:00 AM UTC - 03/02/2017 12:00 AM UTC
Attempt Time : 03/02/2017 12:01 AM

1 个答案:

答案 0 :(得分:2)

您能否为管道计划,数据集内部(进出)和复制活动计划提供JSON?

来自这4个不同代码块的属性值会影响ADF时间片行为。在配置切片时,您的配置中会遗漏一些内容。另外请注意,时间片与SQL Agent计划非常不同,尽管'schedule'命名不佳的JSON属性!这很简单时间线的开始和结束,按照定义的时间间隔切片

此外,还有一些设置可以说明运行内容的顺序以及时间片应执行的时间。例如;在开始或结束。

这是一篇方便的微软文章,我经常提到:

https://docs.microsoft.com/en-us/azure/data-factory/data-factory-scheduling-and-execution

希望这有帮助。