用于单个服务器的简单作业计划程序

Question

我有一个在不同用户之间共享的服务器，我需要设置一个简单的工作负载管理器/作业调度系统，该系统将允许在不同用户之间公平地共享资源。我正在寻找的是task spooler的多用户版本，其中包含一些附加功能。理想情况下，应该

• 允许不同的用户将作业添加到一个或多个队列中
• 每个作业应具有最长的挂墙时间，之后将被杀死，然后执行队列中的下一个作业
• 处理资源使用中的“公平性”（至少应在不同用户之间循环）
• 如果需要，允许多个作业同时运行（因此，如果一个用户有一个串行作业，其他用户可以利用免费资源）

我发现了许多可以满足工作需求的工作计划程序（如SLURM或Torque），但是它们似乎学习曲线陡峭，并且配置和管理方面的信息对于单个服务器来说太大了。

有什么想法最有效？

Answer 1

Celery可能会有所帮助。我们使用celery在单个服务器和分布式服务器中运行任务。我们可以根据需要进行修改，例如使用Flower

添加UI