如何在并行化的bash脚本中增加变量

时间:2015-08-07 18:04:41

标签: bash parallel-processing increment accumulate

所以我有一个bash脚本,在双循环

中分配新进程
for each date "d":
    for each instance "i":
        do-something "d" "i" &
    done
done

do-something中,我想增加一个计数器变量。但是,由于它是一个计数器变量,似乎累积起来并不起作用。什么是解决这个问题的最佳方法?

2 个答案:

答案 0 :(得分:0)

你可以这样做。当你无法获得值时,在子shell /进程中递增计数器的主要原因是什么。在调用之前递增,然后维持你的计数器。

#!/bin/bash

c=0
do-something ()
{
 echo 'I do some shenzi'
 sleep 20;
}

while : ; do
    while : ; do
        echo "-- Counter == $((++c))" && sleep 5;
        do-something "d" "i"  &
    done
done

答案 1 :(得分:0)

您无法将分叉/后台脚本中的变量传递给父母或兄弟姐妹,因此基本上您需要使用不同的方法。在这里,我将您的计数器存储在文件系统中。

我选择使用Perl,因为我想使用它的flock()函数,它允许我锁定包含计数器的文件,以便一次只能由一个进程访问 - 这样就可以避免多个竞争条件,并行流程。

因此,将以下小Perl脚本保存为BumpCounter

#!/usr/bin/perl
use strict;
use warnings;
use Fcntl qw(:seek :flock);

# Open counter file /tmp/counter.txt
open my $fh, '+<', '/tmp/counter.txt' or die "Couldn't open file: $!";

# Lock it for exclusive access
flock($fh,LOCK_EX) or die "couldn't get lock: $!\n";

# Read current value
my $cnt=<$fh>;

# Increment value and write back
seek($fh,0,SEEK_SET);
printf $fh ++$cnt;

# Close handle
close $fh;

然后通过运行以下命令使其可执行:

chmod +x BumpCounter

然后在你的do-something脚本中进行

# do some work

./BumpCounter

# do some work

要查看计数器的值,只需执行

cat /tmp/counter.txt

要测试它,将计数器归零,在后台启动500 do-something s,然后像这样检查计数器:

echo 0 > /tmp/counter.txt
for j in {0..499}; do 
   ./do-something &
done
cat /tmp/counter.txt

500

如果您喜欢这种方法,可以调整脚本以接受参数,以便它可以像这样工作:

./Counter RESET     # reset counter to zero
./Counter READ      # read counter's current value
./Counter +3        # add 3 to counter
./Counter -1        # subtract 1 from counter