修改mesos代理以添加动态更改的自定义资源

Question

我正在开发一个新的mesos-slurm框架，其中来自外部mesos的工作也可以被推到slurm队列。

更新以更好地解释问题：mesos代理程序在同一台计算机中安装了一个slurm工作负载管理器，用于协调HPC中的作业。这个Slurm从mesos执行器接收作业以及其他方法（例如第三方用户通过ssh将作业直接发送到slurm）。

因此，我希望代理可以在向mesos发送商品之前知道slurm队列的状态（运行和等待运行的作业数量），并相应地提供资源。只有了解执行者接受的任务才能实现这一点，因为第三方用户可以直接使用slurm来获取HPC的其他资源。

换句话说，我想做的是定制代理知道可用资源的方式，以考虑Slurm队列的当前状态。

更新2 图解释情况：

正如您在图中所看到的，代理商创建商品（红色）的方式是我想要自定义的方式，因此代理商会考虑Slurm的状态（这可以由执行者阅读）或者代理人）在生成它们之前。

这可能吗？如果是积极的，怎么可能实现？

提前致谢。

Answer 1

我觉得这个设计很糟糕。如果允许在没有Mesos控件的情况下启动作业，则会失去对资源的控制。

• 如果您可以准备将​​代理用户请求到Mesos的简单框架：，您可以使用自定义资源并获取商品中的当前状态。

• 如果您无法更改设计，并且需要在Mesos之外开始一些工作：，您可以使用超额订阅机制与自定义资源相结合。然后，您的QoS将根据当前使用情况更新资源，并且您将获得使用。