ADFv2排队时间

时间:2018-10-09 20:41:33

标签: azure azure-data-factory-2

我有一些复制活动的管道。其中一些活动负责将大量数据从一个存储帐户复制到同一存储帐户,但以压缩方式(我说的是几TB数据)。

在运行管道几个小时后,我注意到某些活动在监视刀片上显示“排队”时间,而我想知道“排队”时间的原因可能是什么。而且更重要的是,如果我当时需要付费,还因为据我了解,我的ADF没有做任何事情。

Queue time

有人可以照亮吗? :)

2 个答案:

答案 0 :(得分:2)

(由于评论的字符数限制,将其发布为答案)

与Azure支持人员进行了长时间的讨论并与ADF产品团队的某个人联系后,我得到了一些答案:

1-队列时间未计费。

2-最初,业务流程ADF系统将作业放入队列中,并获得“排队时间”,直到基础架构将其拾取并启动处理部分为止。

3-在我的情况下,由于底层后端执行器(使用Azure Batch)中的错误,作业开始后的队列时间增加了。显然执行程序崩溃了,我的工作正遭受“重新提货”的时间,因此增加了排队时间。这就解释了为什么一段时间后我开始看到执行时间和传输的数据正在减少。该错误修正的预计到达时间为月底。另外,我正在执行的作业超时(7天后),在检查了帐单后,我确认没有为此收取一角钱。

答案 1 :(得分:1)

fgbaezp。根据此ADF Monitor中的图表,您可以在示例中找到相同的指标。

enter image description here

实际上,它是executionDetails参数中的指标。Queue Time+ Transfer Time= Duration Time.

  

有关复制活动的各个阶段的更多详细信息,   相应的步骤,持续时间,使用的配置等。   建议对其进行剖析,因为它可能会更改。

请参考Parallel Copy,复制活动将创建并行任务以在内部传输数据。活动在队列时间和传输时间都处于活动状态,永远不会在队列时间中停止,以便在整个持续时间内进行计费。我认为这是不可避免的数据传输过程中的损失,并已由adf内部消化。您可以尝试调整parallelCopies参数以查看是否有任何变化。

如果您确实担心费用问题,可以提交反馈here,以要求Azure团队发表声明。

希望它对您有帮助。