Question

假设我们有一个csv文件

以下是代码：

cat A.csv | while read A; do

echo "echo $A" > $A.sh

echo "$A.sh"

done | xargs -I {} parallel --joblog test.log --jobs 2 -k sh ::: {}

以上是一个简化的案例。但几乎可以获得大部分内容。这里的并行将如下运行：

parallel --joblog test.log --jobs 2 -k sh ::: 1.sh 2.sh 3.sh 4.sh

现在假设3.sh因某些原因失败了。是否有任何简单的方法可以在同一行并行命令中的当前shell脚本设置中重新运行失败的3.sh？我尝试了以下，但它不起作用，而且非常冗长。

cat A.csv | while read A; do

echo "echo $A" > $A.sh

echo "$A.sh"

done | xargs -I {} parallel --joblog test.log --jobs 2 -k sh ::: {}

# The above will do this:

# parallel --joblog test.log --jobs 2 -k sh ::: 1.sh 2.sh 3.sh 4.sh

cat A.csv | while read A; do

echo "echo $A" > $A.sh

echo "$A.sh"

done | xargs -I {} parallel --resume-failed --joblog test.log --jobs 2 -k sh ::: {}  

# The above will do this:

# parallel --resume-failed --joblog test.log --jobs 2 -k sh ::: 1.sh 2.sh 3.sh 4.sh

######## 2017-09-25

感谢Ole。我试过以下

doit() {
   myarg="$1"

if [ $myarg -eq 3 ]

then
        exit 1

else

echo do crazy stuff with "$myarg"

fi

}
export -f doit



parallel -k --retries 3 --joblog ole.log doit :::: A.csv

它返回如下日志文件：

Seq     Host    Starttime       JobRuntime      Send    Receive Exitval Signal  Command
1       :       1506362303.003       0.016      0       22      0       0       doit 1
2       :       1506362303.006       0.013      0       22      0       0       doit 2
3       :       1506362303.026       0.002      0       0       1       0       doit 3
4       :       1506362303.014       0.006      0       22      0       0       doit 4

但是，我没有看到doit 3按预期重复3次。你能开导吗？谢谢。

Answer 1

首先：生成.sh文件似乎是一个坏主意。你很可能只是改编一个函数：

doit() {
   myarg="$1"
   echo do crazy stuff with "$myarg"
}
export -f doit

要重试失败的命令，请使用--retries：

parallel --retries 3 doit :::: file.csv

如果您的CSV文件有多列，请使用--colsep：

parallel --retries 3 --colsep '\t' doit :::: file.csv

使用此：

doit() {
   myarg="$1"

  if [ $myarg -eq 3 ] ; then
      echo do not do crazy stuff with "$myarg"
      exit 1
  else
      echo do crazy stuff with "$myarg"
  fi
}
export -f doit

这将重试'3'作业3次：

parallel -k --retries 3 --joblog ole.log doit ::: 1 2 3 4

它只会记录最后一次。为了确信这实际上运行了三次，运行输出无缓冲：

parallel -u --retries 3 --joblog ole.log doit ::: 1 2 3 4

当gnu parellel以while循环失败时重新运行

1 个答案: