GNU Parallel - 多个参数

时间:2016-06-16 14:10:14

标签: python shell gnu-parallel subsampling

使用GNU parallel ,我试图运行一个子采样脚本,输入两个文件并输出一个特定的子采样文件。我正在使用这个命令:

parallel -j+0 --eta python sub_sample_.2.py ::: file1 file2 ::: file3 file4 ::: file5 file6

但命令行上没有ETA,即:

Computer:jobs running/jobs completed/%of started jobs/Average seconds to complete
ETA: 0s Left 8 AVG:0.00s local:8/0/1005/0.0

此外,只处理了前四个文件,但最后两个:<{1}}和file5

1 个答案:

答案 0 :(得分:1)

parallel -j+0 --eta python sub_sample_.2.py ::: file1 file2 ::: file3 file4 ::: file5 file6

2 * 2 * 2 =总共8个工作。

Computer:jobs running/jobs completed/%of started jobs/Average seconds to complete
ETA: 0s Left 8 AVG:0.00s local:8/0/1005/0.0

ETA是根据已完成的作业的运行时计算的。这里还没有完成任务,所以没有ETA。您还可以看到本地系统上正在运行的所有8个作业,因此您可能有8个或更多核心。

  

此外,只处理了前四个文件,但最后两个:<{1}}和file5

这样写我怀疑你可能不知道多个:::做什么。运行--dryrun并查看是否符合预期。

我的猜测是你真正想要运行的是(需要版本20160422或更高版本):

file6

或者:

parallel --eta python sub_sample_.2.py ::: file1 file3 file5 :::+ file2 file4 file6