数据工厂中的优雅自定义活动超时

时间:2017-08-04 16:33:47

标签: azure-data-factory azure-batch custom-activity

我希望通过活动json中的policy.timeout属性对数据工厂中的自定义活动施加超时。

但是我没有看到任何文档来建议超时如何对Azure批处理进行操作?我假设批处理任务以某种方式被强行终止。

但是任务 - >通知自定义活动,以便它可以整理?

我问的原因是我可以在数据湖商店中间复制,我既不想让它无限期运行也不想在没有某种清理的情况下停止它(我无法看到这样做的交易方式使用数据湖商店SDK)。

我正在考虑将超时置于自定义活动中,但将超时定义为2个不同的级别(我可能仍然希望整体超时)会很遗憾。

1 个答案:

答案 0 :(得分:1)

我感到痛苦。

无论调用的服务处于什么状态,ADF都会在达到自己的超时时终止活动。

我对U-SQL处理调用有同样的问题。它需要通过PowerShell进行大量的主动监控,以确保数据湖或批处理作业具有足够的计算能力,以便在ADF超时终止发生之前完成具有自然增加的数据量的作业。

我不知道ADF有什么优雅的方式来处理这个问题,因为每种活动类型会有所不同。

是时候为Microsoft创建另一篇反馈文章了!