这可能很简单,但我很难理解Azure Data Factory Pipeline的确切触发时间。我按照MS教程创建了一个DF管道,用于将数据从Blob复制到Azure SQL。
我在3月1日至3月16日14:14(格林威治标准时间上午10点44分)"创建了一个管道。以下预定,
开始日期 - 02/28/2017 12:00 AM UTC
结束日期 - 03/04/2017 11:59 PM UTC
在1天内重复
创建管道后,立即运行以下窗口,
Window Start - 02/28/2017 12:00 AM UTC
Window End - 03/01/2017 12:00 AM UTC
尝试结束 - 03/01/2017 10:45 UTC
尝试开始 - 03/01/2017 10:44 UTC
现在我的问题是为什么它没有运行窗口(03/01/17 12:00 AM UTC到03/02/17 12:00 AM UTC)因为管道是仅在这个时间窗口之间创建的。我的意思是它跑了最后一天的窗口但不是当天的窗口。
那么在每个窗口中触发管道的确切时间是什么时候?
正如Paul所说,这里有更多配置值,
管道:
"policy": {
"timeout": "1.00:00:00",
"concurrency": 1,
"executionPriorityOrder": "NewestFirst",
"style": "StartOfInterval",
"retry": 3,
"longRetry": 0,
"longRetryInterval": "00:00:00"
},
"scheduler": {
"frequency": "Day",
"interval": 1
},
"start": "2017-02-28T00:00:00Z",
"end": "2017-03-04T23:59:00Z",
来源数据集:
"availability": {
"frequency": "Day",
"interval": 1
},
"external": true,
"policy": {},
目的地数据集:
"availability": {
"frequency": "Day",
"interval": 1
},
"external": false,
"policy": {},
以下是执行日志
Start & End Time
03/01/2017 12:00 AM UTC - 03/02/2017 12:00 AM UTC
Attempt Time : 03/02/2017 12:01 AM
答案 0 :(得分:2)
您能否为管道计划,数据集内部(进出)和复制活动计划提供JSON?
来自这4个不同代码块的属性值会影响ADF时间片行为。在配置切片时,您的配置中会遗漏一些内容。另外请注意,时间片与SQL Agent计划非常不同,尽管'schedule'命名不佳的JSON属性!这很简单时间线的开始和结束,按照定义的时间间隔切片。
此外,还有一些设置可以说明运行内容的顺序以及时间片应执行的时间。例如;在开始或结束。
这是一篇方便的微软文章,我经常提到:
https://docs.microsoft.com/en-us/azure/data-factory/data-factory-scheduling-and-execution
希望这有帮助。