Azure数据工厂：我可以在另一个管道正在运行时暂停管道运行，然后恢复第一个管道吗？

Question

所以我有一条运行时间很长（几周）的管道，该管道会用Data Factory加载一些表并使用Databricks处理它们。

另外，我还有一条每天运行几个小时的管道。但是，Databricks群集似乎不够强大，无法同时运行两个管道，因为当两个管道均处于活动状态时，它将引发错误（似乎是内存错误，“ Spark驱动程序已意外停止”。）

不过，每日管道是最高优先级，因此，理想情况下，我想将长期管道暂停约3小时，然后执行每日触发器，然后恢复长期管道执行。

有可能这样做吗？

谢谢！

Answer 1

简单的答案：否。您应该在引发错误的databricks群集中寻找解决方案。无法暂停管道，因为另一个管道正在运行。

Answer 2

您不能暂停正在运行的管道。 Azure devops管道当前不具有此功能。屏幕截图下方列出了构建可能的所有状态。如您所见，“暂停”不是其中之一。

您可能需要更大的容量才能运行另一个集群。

但是，您始终可以submit a feature向Microsoft开发团队提出请求（单击建议一项功能，然后选择 Azure Devops ）。希望他们在将来的sprint中考虑实现此功能。