将芹菜任务分配给分布在多台机器/容器上的不同工人的最佳方法是什么

Question

我正在尝试将芹菜任务分发到不同的python文件中，这些文件对应于在不同计算机上安排的不同工人。例如

• load_data：data_loader.py，已在普通计算机上调度，返回对象列表
• process_data：process_data.py，在高性能计算机上多次调度，每个进程处理一个对象

两个工作人员（加载数据，过程数据）都应在不同的计算机上运行，​​因为过程数据需要更高的性能。

这样的任务拆分是否明智？ 如何正确启动工人？根据{{​​3}}的建议，我只能在同一机器上启动工作程序。