Question

我正在使用Slurm作业计划程序在群集上运行作业。使用Apache Airflow提交Slurm作业并检查其状态的最有效方法是什么？

我能够使用SSHOperator远程提交我的作业，并每分钟检查一次它们的状态，直到完成为止，但是我想知道是否有人知道更好的方法。下面是我写的SSHOperator。

ListConnectionsResponse response = peopleService.people().connections()
                        .list("people/me")
                        .setPageSize(2000).setSortOrder("FIRST_NAME_ASCENDING").setRequestMaskIncludeField("person.names,person.emailAddresses,person.phoneNumbers")
                        .execute();
                List<Person> connections = response.getConnections();

Answer 1

我无法给出一个可证明的示例，但我的意愿是在类似airflow sensor之类的东西上实现pyslurm。有趣的是，仅在查看是否有人已经这样做时，我才遇到您的问题！

编辑：regarding the use of excecutors for submitting jobs too上有一个有趣的话题

祝你好运

使用Apache Airflow提交和监视SLURM作业

1 个答案: