GNU并行两个或多个并行命令

时间:2015-07-23 19:02:41

标签: parallel-processing gnu gnu-parallel

首先,我是GNU parallel的忠实粉丝。我想加快日常工作,包括下载,解压缩和并行处理一些文件。目前我按顺序执行此操作,在完成下载之前,解压缩和处理不会启动。例如,在shell脚本中,我将运行以下两行:

cat /home/data/daily_dload.txt | parallel -j5 "wget -O /home/data/tmp/{1} -r https://server1.hogan.hulk.warrior

ls -1 /home/data/tmp | parallel -j5 "gunzip /home/data/tmp/{1}"

有没有办法在文件下载完成后立即解压缩?提前谢谢。

1 个答案:

答案 0 :(得分:2)

使用&&运算符:

cat /home/data/daily_dload.txt | parallel -j5 "wget -O /home/data/tmp/{1} -r https://server1.hogan.hulk.warrior/{1} \
&& \
gunzip /home/data/tmp/{1}"