线程共享perl

时间:2012-08-28 22:35:30

标签: multithreading perl

我写了一个代码,我需要让它多线程。 Evething工作,但每个循环重复4次:

use LWP::UserAgent;
use HTTP::Cookies;
use threads;
use threads::shared;

$| = 1;

$threads = 4;
my @groups :shared = loadf('groups.txt');

my @thread_list = ();
$thread_list[$_] = threads->create(\&thread) for 0 .. $threads - 1;
$_->join for @thread_list;
thread();

sub thread
{
    my $url = 'http://www.site.ru/';
    my $response = $web->post($url, Content =>
                    ['st.redirect' => ''
                    ]);
    foreach $i (@groups)
    {

        my $response  = $web->get($i);
        if(!($response->header('Location')))
        {
            ---------;
        }
        else
        {
            ----------;
        }

    }

}

sub loadf {
    open (F, "<".$_[0]) or erroropen($_[0]); 
    chomp(my @data = <F>);
    close F;
    return @data;
}

groups.txt:

http://www.odnoklassniki.ru/group/47357692739634
http://www.odnoklassniki.ru/group/56099517562922

我明白我需要使用threads :: shared;但我无法理解如何使用它。


您的帖子没有太多上下文来解释代码部分;请更清楚地解释一下你的情景。

2 个答案:

答案 0 :(得分:6)

问题是您永远不会从@groups删除,因此所有线程都会在@groups中执行所有工作。

这是一个解决方案。

use threads;
use Thread::Queue 3.01 qw( );

my $NUM_WORKERS = 4;

sub worker {
   my ($url) = @_;
   ... download the page ...
}

my $q = Thread::Queue->new();
for (1..$NUM_WORKERS) {
   async {
      while (my $url = $q->dequeue()) {
         worker($url);
      }
   };
}

$q->enqueue($_) for loadf('groups.txt');
$q->end();
$_->join() for threads->list;

答案 1 :(得分:3)

为什么需要让它成为线程?在大多数情况下,perl使用分叉会更好。

也就是说,你的代码启动了4个线程,每个线程处理@groups中的所有内容。听起来这不是你想要做的。如果你想让@groups成为要做的工作队列,请看一下Thread :: Queue(或Parallel :: ForkManager)。