从Azure数据工厂运行可执行文件时Azure批处理池中的节点数

Question

我们有一个ADF管道，该管道运行另外3个管道，这些管道使用相同的Azure批处理池运行相同的可执行文件。大多数情况下，可执行文件成功运行。但是，在某些情况下，管道会在开始运行可执行文件之前挂起。

请注意，所有3个管道都使用相同的Azure批处理池。

• 可执行文件没有任何并行性，那么节点数会有所不同吗？应该至少有3个节点吗？

• 使用同一Azure批处理池的管道是否存在问题？他们应该使用不同的池吗？

谢谢

穆罕默德

Answer 1

我可能会尝试从Batch的帽子中解决2个问题：（希望这给您带来一些想法，以便进行一些调试以进行深入识别）

• 可执行文件没有任何并行性，那么节点数会有所不同吗？应该至少有3个节点吗？

  • 不，节点数量不受Batch中任何并行性概念的限制。 AFAIK，我不确定从哪里提到3个节点，但是在3个节点的情况下您的方案是否正常工作？
  • 错误处理：只要对概念代码进行了很好的管理，如果BatchErrors中的BatchException或FailureInfo中有任何异常，都将为用户推送。例如https://docs.microsoft.com/en-us/azure/batch/batch-task-fail-event或https://docs.microsoft.com/en-us/rest/api/batchservice/batch-status-and-error-codes
  • 您始终可以从节点获取服务日志：https://docs.microsoft.com/en-us/rest/api/batchservice/computenode/uploadbatchservicelogs
  • 并行任务挂起时，节点状态是什么？

• 使用同一Azure批处理池的管道是否存在问题？他们应该使用不同的池吗？

  • 不，AFAIK。如果您看到任何特定的内容，我建议您详细介绍自己的情况。

由于其代码节点正在尝试运行，所以我建议设置调试点并检查服务日志以识别用户代码运行行为。

谢谢