Python中的工作流程框架

Question

我正在尝试在Python中创建具有以下功能的工作流程：

  

  
1. 动态调度。
  
2. 并行性-一个进程中有多个线程。
  
3. 运行流程与运行任务相同。
  
4. 在Windows上工作。
  

据我所知，在许多工作流程框架中似乎可以实现1和3，但是2并不是那么容易。在我的研究中，我主要关注的是Celery和Luigi框架。

• 对于Celery，我确实发现可以使用--pool参数完成2个操作，所以我想知道是否可以将worker和trigger组合到同一个python模块中？ li>
• 对于Luigi，我想知道是否可以将任务作为多线程而不是多进程来运行吗？

此外，我想对其他Python框架提出任何建议，这些建议可以在我开始创建自己的工作流程之前对我有所帮助？

Answer 1

在luigi中，任务本身可以使用多线程，但是在luigi中，每个工作程序本身都是一个进程，因为它可以在不同的计算机上运行。如果您反对两个流程，则可以只与一个工人一起运行。

另一个要看的是气流。