为perl脚本添加并行性

时间:2016-02-11 16:41:59

标签: perl parallel-processing

我有一个小的perl脚本,它从mongoDB获取服务详细信息,查询其状态并提供html输出

#...some stuff to get $token

my @cmd = ('/opt/mongo/bin/mongo', '127.0.0.1:27117/service_discovery', '--quiet', '-u', 'xxx', '-p', 'xxx', '--eval', "var environ='$env'; var action='status'", '/home/mongod/www/cgi/getstatus.js');
my $mongo_out;
run \@cmd, '>>', \$mongo_out;
$json->incr_parse ($mongo_out);
while (my $obj = $json->incr_parse) {
    my $hostname = "$obj->{'hostname'}";
    print "<tr><td colspan=4 align=\"center\"><h4>$hostname</h4></td></tr>";
    foreach my $service (@{$obj->{'services'}}) {
            my $name = "$service->{'name'}";
            my $port = "$service->{'port'}";
            my $proto = "$service->{'proto'}";
            my $request = HTTP::Request->new(GET => "${proto}://$hostname:${port}/status/service");
            $request->header(Authorization => "Bearer $token");
            my $ua = LWP::UserAgent->new;
            $ua->timeout(2);
            my $response = $ua->request($request);
            my $code = $response->code();
            if ($code == 200) {
                    my $var = %$response->{'_content'};
                    my $coder = JSON::XS->new->ascii->pretty->allow_nonref;
                    my $out = try {my $output = $coder->decode($var)} catch {undef};
                    if(exists $out->{'name'} && exists $out->{'version'}) {
                            print "<tr><td align=\"center\">$port</td><td align=\"center\">$name</td><td align=\"center\">$out->{'name'}</td><td align=\"center\">$out->{'version'}</td></tr>";
                    } else {
                            print "<tr><td align=\"center\">$port</td><td align=\"center\">$name</td><td colspan=2 align=\"center\">auth failed</td></tr>";
                    }
            } elsif ($code == 500) {
                            print "<tr><td align=\"center\">$port</td><td align=\"center\">$name</td><td colspan=2 align=\"center\">offline</td></tr>";
            } elsif ($code == 404) {
                    print "<tr><td align=\"center\">$port</td><td align=\"center\">$name</td><td colspan=2 align=\"center\">page not found</td></tr>";
            }
    }
}

它执行一段时间,特别是当某些服务处于脱机状态时。是否可以同时查询同一主机内的服务?

1 个答案:

答案 0 :(得分:5)

这几乎是一个过于宽泛无法回答的问题,因为......这取决于。

但是是的。你有两个半机制在perl中进行并行化:

  • thread
  • fork
  • 非阻止IO。

我说两个半,因为非阻塞IO并不是真正平行的,就像以不同的方式解决同一个问题一样。

实现并行性是一种非常好的方法,最终会遇到一些可怕且难以追踪的错误,并且需要稍微改变思维模式,因为你的代码不再以明确定义的顺序执行 - 整点是你的代码可能在不同的时间点击不同的位,并且可能导致完全混乱。

尤其是因为您导入的模块 - 可能不是&#34;线程安全&#34; (这意味着它们可能会很好,但偶尔也会以一种非常难以预测的方式破裂,并且你会在试图追踪这个虫子的时候撕掉你的头发)。

考虑到这一点

线程

如果您使用其他语言的线程,可能会有点直觉反映 - perl线程不是轻量级的。启动它们需要很高的成本,尤其是因为您实际上最终会将内存占用量乘以您运行的线程数。

我通常建议结果 - 看看&#34;工作线程&#34;模型,使用Thread::Queue。您启动了许多线程,并使用队列来序列化线程的输入和输出。

分叉

fork()是一个unix本机系统调用。你经常使用它,效率很高。它将您的程序分成两个相同的副本 - 包括代码中的位置 - 在它被调用的位置。 差异最初是fork()系统调用的返回代码 - 父级将获取子级的进程ID,子级将获得零。

很容易意外地做一些奇怪的事情,因为此时这两段代码在循环迭代,文件句柄等方面都处于完全相同的位置,但这很快就会发生变化,你可以再次,如果您与“共享”相互作用,最终会发生一些非常奇怪的事情。资源。

我通常建议将Parallel::ForkManager模块视为避免使用fork()绊倒自己的简单方法。

非阻塞IO

您经常可以使用IO::Selectcan_read方法之类的方法来检测哪些文件句柄会在您从中读取时阻止 - 您可以跳过该方法,直到它阻止。这也适用于您的用例,但并不总是适用。

我在这里得到了上述两个例子:Perl daemonize with child daemons