Question

我需要通过Net::LDAP在perl中查询不同的LDAP服务器。我有一些运作良好的东西。但是，为了加快速度，我尝试使用Parallel::Forkmanager并行查询不同的服务器 - 当我这样做时，事情不起作用。

我收到以下类型的错误：

 decode error 02<=>30 0 8  at /Users/myname/perl5/perlbrew/perls/perl-5.18.2/lib/site_perl/5.18.2/Convert/ASN1/_decode.pm line 113, <> line 18.
 decode error 43<=>30 0 8  at /Users/myname/perl5/perlbrew/perls/perl-5.18.2/lib/site_perl/5.18.2/Convert/ASN1/_decode.pm line 113, <> line 25.

在获取搜索响应的行：

$mesg = $ldap->search( base => $dn, filter => '(CN=*)');

我很困惑。

用其他语言告诉它，为什么会失败：

use Net::LDAP;
use Parallel::Forkmanager;

...; # bind LDAP servers

while (<>) {
    chop;
    my $dn = $_;
    foreach my $ldap (@servers) {
        my $pid;
        $pid = $pm->start and next; # do the fork
        print $dn, $pid;
        my $mesg;
        try {
            $mesg = $ldap->search( base => $dn, filter => '(CN=*)');
        } catch {
            ...;
        }
        $pm->finish;
    }
}

虽然：

use Net::LDAP;

...; # bind LDAP servers

while (<>) {
    chop;
    my $dn = $_;
    foreach my $ldap (@servers) {
        print $dn;
        my $mesg;
        try {
            $mesg = $ldap->search( base => $dn, filter => '(CN=*)');
        } catch {
            ...;
        }
    }
}

工作得很好吗？

Answer 1

虽然fork没有thread的线程安全问题，但仍有一些地方存在问题。我认为这就是你在咬你的东西 - 你的Net::LDAP对象是在父线程中创建的，但是当你分叉时会（有效地）克隆到每个对象。

这意味着在你的代码中 - 如果你有足够快的名字列表，那么新的分叉将尝试重用现有的Net :: LDAP前一个连接完成之前的连接。

阻止这种情况的简单方法是调用wait_all_children以确保在下一个LDAP查询开始之前完成所有并行LDAP查询。

如果你将LDAP绑定放在ForkManager循环中，你还有同样的问题吗？我理解这是一个潜在的开销，因为你将绑定每个迭代，但如果它解决它，我建议它是因为Net::LDAP在分叉之间共享相同的文件描述符。

下一个最佳解决方案是采用“工人”模式，在这里你有一堆“工人”，每个人都有他们的LDAP连接来进行查询。使用线程比使用fork更容易 - 有点像这样：

#!/usr/bin/perl

use strict;
use warnings;

use threads;
use Thread::Queue;

sub server_worker {
    my ( $hostname, $q_ref ) = @_;

    ## connect LDAP to $hostname;
    while ( my $dn = $$q_ref->dequeue ) {

        #query $dn
    }
}

my @queues;

foreach my $server (@list_of_servers) {
    my $server_q = Threads::Queue->new();
    push( @queues, $server_q );
    threads->create( \&server_worker, $hostname, \$server_q );
}

while ( my $dn = <STDIN> ) {
    chomp($dn);
    foreach my $q (@queues) {
        $q->enqueue($dn);
    }
}

foreach my $q ( @queues ) { 
    $q -> end;
}

foreach my $thr ( threads->list ) {
    $thr->join();
}

做与forking类似的事情应该有效：

#!/usr/bin/perl

use strict;
use warnings;

use IO::Pipe;
use Parallel::ForkManager;
use Net::LDAP;

my @list_of_servers = qw ( servername servenama anotherserver );

my $pm = Parallel::ForkManager -> new ( scalar @list_of_servers );

my %pipe_for;

foreach my $server ( @list_of_servers ) {
   my $pipe = IO::Pipe -> new();
   my $pid = pm -> start;
   if ( $pid ) {
       print "$$: parent\n";
       $pipe -> writer -> autoflush;
       $pipe_for{$server} = $pipe;
   }
   else {
       print "$$ child connecting to $server\n"; 
       $pipe -> reader -> autoflush;
       close ( STDIN ); #because this is a child. 
        #Net::LDAP setup
       while ( my $item =  <$pipe> ) {
           chomp ( $item );
            #ldap_search $item;
       }
    }
   $pm -> finish; 
}

然后发送东西：

for my $number ( 1..10 ) { 
   foreach my $pipe ( values %pipe_for ) { 
       print {$pipe} "test$number\n";
   }
}

$pm -> wait_all_children();

编辑：注意 - autoflush很重要，否则IO缓冲区看起来不像它正在工作。我很确定关闭STDIN对孩子来说可能是一个好主意，但如果他们不使用它可能不是非常必要的。

Net :: LDAP和Parallel :: Forkmanager可以一起工作吗？

1 个答案: