如何构建一个允许用户将作业提交到队列的系统

时间:2011-05-05 17:16:58

标签: python networking queue system jobs

使用C,C ++,Shell,Perl和/或Python的组合我想开发一个允许用户将作业提交到队列(或队列)的系统。队列中的作业应以适当的顺序在多台工作机器中的一台上执行。

系统应提供基本功能。但是,您可以更详细地考虑以下一个或多个具体问题:

Support for multiple users
Flexible specification of jobs
Interdependencies between jobs
Integration of job creation with existing package(s)
Cancelling Jobs
Smarter scheduling of jobs
Discovery of available machines
Varying capabilities of worker nodes
Multiple Operating Systems
Failure of worker hardware
Failure of the Job Execution(including hanging indefinitely)
Failure of the queue management machine(s).

我有一些C,C ++的基本经验,主要是Python。我有兴趣使用这个系统提供基本功能。互联网上主要有关于所有这些的理论,但是我找不到例子以便看它是如何工作的。如果有人有信息,来源,示例代码或任何可以帮助我的东西,我会真正地对它进行诠释。

1 个答案:

答案 0 :(得分:3)

为什么要尝试重新发明轮子?

使用http://celeryproject.org/