使用PHP Pthread同时读取多个CSV文件(多线程)

时间:2016-06-01 05:12:15

标签: php multithreading csv pthreads fopen

我正在尝试使用pthread在PHP中实现多线程。 我想要做的是,假设,我有50个CSV文件,需要处理很多行。在检查了一些验证标准后,我需要读取每一行并将其插入数据库。因此,我不是一次只读取一个文件,而是想要创建5个多个线程,这将同时处理5个不同的文件。如果任何线程首先完成,则下一个排队的文件将加入该线程。

例如。我有1X.CSV到50X.CSV 我将启动5个线程来处理1X.CSV到5X.CSV。现在3X.CSV与其他四个文件相比非常小。所以它的处理首先完成。所以第三个线程获得自由,它将寻找下一个排队的文件,即6X.CSV。每个线程都可以单独工作。

我的问题是,当我在没有读取文件的情况下进行多线程时,它运行良好!但fopen()并没有帮助我读取run()函数中的文件。谁能告诉我哪里出错了?以下是我的代码。任何帮助都将受到高度赞赏。

class AsyncLongAction extends Thread 
{

  public function __construct($s,$file)
  {
      $this->s = $s;
      $this->file = $file;
      //echo $file."<BR>";
  }

  public function run()
  {
     if($this->s)
     {
         printf("TID: %s is waiting for %s %s ...\n", $this->getCurrentThreadId(), $this->s, $this->file);
         //sleep($this->s);
         printf("%ss is over.\n<br>", $this->s);

         $handle = fopen($this->file,"r");
         echo $handle; //It is not giving any result.
         while(($filesop = fgetcsv($handle,1000,",")) != false)
         {
              $name = $filesop[0];
              $times = time();
              $sql = "<BR>".$name."---".$times."======".Thread::getCurrentThreadId();
              echo $sql;
         }
      fclose($handle);
     }
  }
}

$thread = array();
$files = glob("CSV/*"); // path is right, I have tried working with the same code without using pthread.

foreach($files as $key=>$file)
{
   $thread[] = new AsyncLongAction($key+1,$file);
}

$c= 0;
foreach($thread as $st)
{
    if($c < 3)
       $st->start();
    $st->join();
    $c++;
}

1 个答案:

答案 0 :(得分:1)

你开始一个线程,然后在那之后,你等待它完成。然后你开始下一个等等......提示:如果你刚刚记录下你做了什么,你自己就会发现这个错误。