工作编排

时间:2013-02-14 16:44:13

标签: python scheduled-tasks orchestration

我目前正在重做所有数据库业务流程工作(ETL,备份,日常任务,报告编译等)。

要做到这一点,我需要一个任务/工作协调器,我可以在其中定义任务依赖,基于时间的任务,异步任务等。

我正在研究芹菜和基于流程的编程技术,但我不确定它们对我的用例是否有用。

我正在寻找一个能够支持所有这些开箱即用的框架。 有什么建议吗?

1 个答案:

答案 0 :(得分:3)

可能要迟到,但我想提及Job runner可能会有其他人来到这个问题。

从他们的GitHub存储库README.rst:

Job-Runner是一个类似于crontab的工具,有一个很好的网络前端,用于管理和(实时)监控当前状态。

特点:

  • 安排定期工作
  • 工作链接
  • 将工作人员置于池中来平衡工作负载
  • 安排作业在池中的所有工作人员上运行
  • 实时仪表板(可选择终止运行和临时调度)
  • 多个项目和每个项目的权限管理