DAG级的气流资源池使用情况？

Question

我正在研究使用气流在实验室中针对共享硬件安排测试用例的执行情况，并且有一些最佳实践问题，涉及如何在整个DAG实例上而不是仅在任务级别上使用资源池概念。 / p>

基本上，一个测试用例需要（作为测试用例DAG的一个实例（部署/执行/收集/取消部署）执行）某些物理资源，因此应从不同的资源池中请求它们（对物理资源进行建模）资源），以免与其他触发的DAG实例并发使用时发生冲突。

我的问题是，是否可以在DAG实例级别上定义资源使用情况，或者是否仅在任务级别上可以定义。如果是后者，那么在整个DAG实例执行期间，一个并行任务声明资源是否是处理不必在DAG中的所有任务之间传递资源声明的最佳方法？还有其他选择吗？

在收到来自Viraj和dlamblin的问题后进行更新： 运行1.10.1

运行LocalExecutor

已验证我可以同时执行并行DAGS和任务

我想要为其提供自定义池的资源不是工作人员资源，而是不同的外围硬件单元（例如中继器，路由器等），如果它们被占用，则在本地执行器上并行运行的任务将被阻塞（0个自定义资源池一个/或其他任务留下的实例

Answer 1

Kubernetes Executor允许在任务或dag级别上配置某些节点类型关联。 Celery Executor具有队列概念，可以从具有特定资源的工作人员组中进行选择。您可能没有使用本地执行器，因为这种情况下您的问题不太有意义。