Question

我有很多工作要运行，比如100。它们可以并行运行，但每个都占用了大量内存，所以我只能同时运行8个。

我目前有这个shell脚本：

(
(python run.py $arg1 &)
(python run.py $arg2 &)
(python run.py $arg3 &)
(python run.py $arg4 &)
(python run.py $arg5 &)
(python run.py $arg6 &)
(python run.py $arg7 &)
(python run.py $arg8 &)
) 2>&1 | cat -u

(
(python run.py $arg9 &)
(python run.py $arg10 &)
(python run.py $arg11 &)
(python run.py $arg12 &)
(python run.py $arg13 &)
(python run.py $arg14 &)
(python run.py $arg15 &)
(python run.py $arg16 &)
) 2>&1 | cat -u

...

这具有运行第一批八个的效果，当它们全部完成时，它开始下一批8个。问题是每个作业的运行时间不是恒定的，有些在其他作业之前完成，因此，对于每批8个重量来说，重量不是最佳的，因为我实际上正在等待8个中最慢的完成。

相反，我希望有一个脚本（shell或python）可以运行我所有的100个作业，并且在任何给定时间并行处理其中8个作业，以获得最佳效率。

有关实现这一目标的任何想法吗？

Answer 1

你可以编写自己的小调度程序，将它们分配给完成当前任务的处理器;但是使用we strongly recommend在我们的中心gnu parallel，已经使用类似xargs的语法实现了它。

例如，如上所述，你可以做到

parallel --max-procs 8 <<EOF
  python run.py $arg1 
  python run.py $arg2 
  python run.py $arg3
  ..
EOF

或者，如果您在文件中包含参数列表，则可以执行类似

的操作

cat args.list | parallel --max-procs 8 python run.py

Answer 2

根据您的需要，您可以使用许多工具。最简单的可能是使用GNU parallel。 make可以与其-j开关并行运行任务。如果您尝试运行的任务更加复杂和多样化，那么真正的排队系统可能会有所帮助，例如： Dr. Queue。还有更多工具，GNU parallel's man page很好地列出了它们。

Answer 3

在我看来，您正在寻找multiprocessing模块，特别是multiprocessing.Pool。

如果我这样做，我会给run.py提供所有不同的参数集，在main(args)函数的run.py中包装你现在在顶层做的事，然后使用Pool的映射在所有不同的参数集上调用该方法的方法。

它可能看起来像这样：

import multiprocessing

def main(args):
  # Here's where you would do what you usually do with the arguments

pool = multiprocessing.Pool(processes=8)
pool.map(main, sys.argv[1:], chunksize=1)
pool.close()
pool.join()

请注意，这假设每次运行的参数可以保存在一个字符串中（因此sys.argv的一个条目）。

Answer 4

为什么不使用 DataStage 自己的工作负载管理？定义 M 个队列并将您的 N 个作业循环分配到这些队列中。

运行总共N个作业，其中M个随时并行运行

4 个答案: