Question

今天我正在尝试使用curl下载网页网址。在这里，我看到一个特殊的问题。

当我从本地机器运行我的代码时，它会很好地收集所有内容。但是当我从生产服务器运行我的代码时，它得到503错误。

我看到该网站使用cloudflare服务。但我的问题是

如果他们保护废品免于生产，为什么我在本地尝试时无法保护？

有人能帮帮我吗？我的代码是：

<!DOCTYPE html>
 <html>
 <head>
  <meta http-equiv=Content-Type content="text/html; charset=UTF-8">
 </head>
<body>
  <?php
  include('simple_html_dom.php');
  $new_url = 'https://www.bagdoom.com/electronics/computers/webcams.html';

  $header = array();
  $header[0] = "Accept: text/xml,application/xml,application/xhtml+xml,";
  $header[0] .= "text/html;q=0.9,text/plain;q=0.8,image/png,*/*;q=0.5";
  $header[] =  "Cache-Control: max-age=0";
  $header[] =  "Connection: keep-alive";
  $header[] = "Accept-Charset: ISO-8859-1,utf-8;q=0.7,*;q=0.7";
  $header[] = "Accept-Language: en-us,en;q=0.5";
  $header[] = "Pragma: ";

  $curl = curl_init();
  curl_setopt($curl, CURLOPT_USERAGENT, 'Mozilla/5.0 (Windows; U; Windows NT 5.2; en-US; rv:1.8.1.7) Gecko/20070914 Firefox/2.0.0.7');
  curl_setopt($curl, CURLOPT_SSL_VERIFYPEER, FALSE);
  curl_setopt($curl, CURLOPT_HTTPHEADER, $header);
  curl_setopt($curl, CURLOPT_FOLLOWLOCATION, true);
  curl_setopt($curl, CURLOPT_URL, $new_url);
  curl_setopt($curl, CURLOPT_REFERER, $new_url);
  curl_setopt($curl, CURLOPT_RETURNTRANSFER, TRUE);
  $str = curl_exec($curl);
  curl_close($curl);

  $html_list = new simple_html_dom();
  $new_html_list = $html_list->load($str);

  foreach($new_html_list->find("#awac_catalog_container li.item h2.product-name a") as $e){
    echo $e->href . '<br>';
  }

  ?>
  </body>
  </html>

Answer 1

Cloudflare提供的服务之一是IP Reputation checks;简而言之，如果一个网站被认为是在Cloudflare网络中滥用 - 它可以通过验证码或JavaScript挑战页面进行挑战。

生产中服务器的IP地址信誉很可能很低（特别是如果云服务器提供商已经回收了IP地址）。但是，本地服务器的IP信誉可能更值得信赖。

为了绕过这一点，您需要在Cloudflare信息中心的防火墙应用中将该网站设为whitelist your servers IP Address。

CURL无法使用生产服务器

1 个答案: