我是并行处理的新手。我有一些python脚本,出于某些原因,我不应该更改它们。每个python脚本仅使用一个cpu内核,并对输入图像进行一些处理。我用一个shell脚本一个接一个地运行这些python脚本。我可以在shell脚本中执行并行线程处理而不用穿插python脚本,以便每个python脚本使用多个cpu内核,并且每个图像的处理速度都会提高吗?
答案 0 :(得分:2)
是的,请使用 GNU Parallel 启动它们。
因此,如果您想使用参数0..9运行10次脚本:
parallel python yourScript.py {} ::: {0..9}
如果您想查看在不实际运行任何内容的情况下将运行什么:
parallel --dry-run ...
如果要使用进度表:
parallel --progress ...