Shell脚本中的并行处理或线程

时间:2019-04-10 06:08:26

标签: multithreading shell

我是并行处理的新手。我有一些python脚本,出于某些原因,我不应该更改它们。每个python脚本仅使用一个cpu内核,并对输入图像进行一些处理。我用一个shell脚本一个接一个地运行这些python脚本。我可以在shell脚本中执行并行线程处理而不用穿插python脚本,以便每个python脚本使用多个cpu内核,并且每个图像的处理速度都会提高吗?

1 个答案:

答案 0 :(得分:2)

是的,请使用 GNU Parallel 启动它们。

因此,如果您想使用参数0..9运行10次脚本:

parallel python yourScript.py {} ::: {0..9}

如果您想查看在不实际运行任何内容的情况下将运行什么:

parallel --dry-run ...

如果要使用进度表:

parallel --progress ...