Question

我有以下子程序，并且让appx 20个线程用不同的URL调用它（这个子属于一个包，每个线程调用该包的不同实例）：

sub get_urls {
    my ($self,$url,$depth) = @_;
    my $cv = AnyEvent->condvar;
    my @data;
    my %visited;
    my $hostname = URI->new($url)->host();
    my $tr_cb;
    my ($b,$e) = (0,0);

       return unless($depth);
       # This code-ref is recursive!
       $tr_cb = sub {
        my $sitem   = shift;
        my $depth   = shift;

        return if (0 == $depth--);
        foreach my $site (@$sitem) {
            if (exists($visited{$site})) {
               next;
            }
            $b++;
            $visited{$site} = 1;
            $cv->begin;
            AnyEvent::HTTP::http_get ($site, timeout => 1, sub {
               my ($body, $hdr) = @_;
               if ($hdr->{Status} =~ m/^2/) {
                  my $extor = HTML::SimpleLinkExtor->new();
                  my @links;
                  print "E = $e | B = $b\n";
                  #print "[REC_DEPTH:$depth]Working on $site\n";
                  $extor->parse($body);
                  @links = map { URI->new_abs($_,$site)->as_string }
                            grep { length > 2 } $extor->links();
                  push(@data,@links);
                  $tr_cb->([map { $_->[2] } 
                              grep { $_->[0] eq $_->[1] } 
                                map { [$hostname,URI->new($_)->host(),$_] } @links],$depth);
               }
                $e++;
                $cv->end;
            });
        }
        };
    $tr_cb->([$url],$depth);
    $cv->recv;
    print "Got total of " . @data . " links\n";
}

($b,$e)变量仅用于测试。问题是，经过一段时间后，似乎“开始”的数量与“结束”的数量不匹配，因此它永远不会通过$cv->recv ... 我对AnyEvent和事件编程一般都是新手，似乎不能解决我的问题。

谢谢，

Answer 1

整个递归的匿名子对于自己的好处似乎有点过于聪明。在类中创建一个函数，它从传入的url（和深度）中获取链接，并将它们添加到对象上的数组中。同时创建一个计时器（在=> 0之后），它将元素从数组中移出，如果还有元素则重新启动，否则将结束发送到condvar。如果需要，用Thread :: Queue对象替换数组。

您也应该只在您的应用程序代码中调用 - ＆gt; recv，而不是在您的condvar上使用回调而不是调用recv（这将使您能够使用多个condvars并发送给它们而不依赖于线程）

Answer 2

此实用程序功能的设计错误是它在condvar上阻塞：$cv->recv。这会阻止函数的用户在全局异步程序中使用它。

相反，get_urls应该返回condvar（$cv）并让用户做一些有用的事情。如果用户想要阻止，他将能够做到这一点。如果他不这样做，他将可以自由地与其他异步任务共享资源。

你的程序的另一个问题是，如果该函数设计正确，你可能不需要线程：如果该函数是程序的核心，它显然是网络绑定的，而不是CPU绑定的，所以你应该能够启动多次调用（固定）get_urls，它将在一个线程中并行执行。

Answer 3

你的回调中有$cv->end;。这对我来说似乎不对，应该是在AnyEvent::HTTP::http_get致电AFAIU之后。

多线程环境中的AnyEvent

3 个答案: