Question

foreach($links as $link_content)
{
  $handle = curl_init(LINK_BASE.$link_content);
  curl_setopt($handle,  CURLOPT_RETURNTRANSFER, TRUE);
  $response = curl_exec($handle);
  $httpCode = curl_getinfo($handle, CURLINFO_HTTP_CODE);
  if($httpCode != 200)
    continue; //if not, go to next link
}

我需要分析350个链接并检查它们是否都可用（返回HTTP代码200）。目前我使用上面编写的代码。不幸的是，这项操作需要很长时间 - 超过2-4分钟。我必须以最快的方式检查每个链接。你能给我任何建议吗？

Answer 1

我会说你只是使用CURLOPT_NOBODY发出HTTP HEAD请求，而不是像你现在那样提取整个内容。这个代码看起来像：

foreach($links as $link_content)
{
  $handle = curl_init(LINK_BASE.$link_content);
  curl_setopt($handle,  CURLOPT_RETURNTRANSFER, TRUE);
  curl_setopt($handle,  CURLOPT_NOBODY, TRUE); // make HEAD
  $response = curl_exec($handle);
  $httpCode = curl_getinfo($handle, CURLINFO_HTTP_CODE);
  if($httpCode != 200)
    continue; //if not, go to next link
}

如果这不能减少所需的时间，您还可以考虑使用curl_multi功能来并行化您的请求。您可以随意查看我创建的基于curl的简单REST类，以获得有关如何执行curl_multi的更好示例。欢迎您自由使用该课程 - https://github.com/mikecbrant/php-rest-client

Answer 2

您可以单独启动此PHP代码的多个实例。想象一下10个并行实例的时间增益！

创建crawler.php文件，如下所示：

<?php
$fileName = argv[1];
$fh = fopen($fileName, "r");
while($link_content = fgets($fh) !== FALSE) {
    $handle = curl_init(LINK_BASE.$link_content);
    curl_setopt($handle,  CURLOPT_RETURNTRANSFER, TRUE);
    $response = curl_exec($handle);
    $httpCode = curl_getinfo($handle, CURLINFO_HTTP_CODE);
    if($httpCode != 200) {
        // log/output the bad URL
    }
}
?>

创建一个bat文件crawler.bat（如果你在Windows下）并输入以下代码：

php PathToCrawler/crawler.php %1

现在你必须将你的URL分发到不同的文件中，然后连续使用控制台启动这个bat：

crawler.bat UrlFileFrom1TO100.txt
crawler.bat UrlFileFrom101TO200.txt
crawler.bat UrlFileFrom201TO300.txt
crawler.bat UrlFileFrom301TO400.txt
...

检查网站是否以最快的方式可用

2 个答案: