某些网站的cURL超时,完全适用于其他网站

时间:2013-03-07 20:03:30

标签: php curl nginx timeout varnish

我试图获取博客的源代码。

如果我尝试使用PHP或命令行,则无关紧要。两者都超时。还尝试了get_file_contents()但同样的问题

问题

当我尝试这个命令时:

curl http://blogg.se -m 5 --verbose

我明白了:

* About to connect() to blogg.se port 80 (#0)
*   Trying 82.96.60.8... connected
> GET / HTTP/1.1
> User-Agent: curl/7.22.0 (x86_64-pc-linux-gnu) libcurl/7.22.0 OpenSSL/1.0.1 zlib/1.2.3.4 libidn/1.23 librtmp/2.3
> Host: blogg.se
> Accept: */*
>
* Operation timed out after 5001 milliseconds with 0 bytes received
* Closing connection #0
curl: (28) Operation timed out after 5001 milliseconds with 0 bytes received

但如果我尝试使用其他网址:

curl http://ip.nu -m 5 --verbose

它运作良好。

我在想我可能会被禁止,但我也尝试过使用curl和代理,但仍然超时。

我可以毫无问题地ping blogg.se。

我也在更改php脚本中的用户代理。

这是我的PHP


    $url = "http://blogg.se/";

    $curl = curl_init(); 

    $header[0] = "Accept: text/xml,application/xml,application/xhtml+xml,"; 
    $header[0] .= "text/html;q=0.9,text/plain;q=0.8,image/png,*/*;q=0.5"; 
    $header[] = "Cache-Control: max-age=0"; 
    $header[] = "Connection: keep-alive"; 
    $header[] = "Keep-Alive: 300"; 
    $header[] = "Accept-Charset: ISO-8859-1,utf-8;q=0.7,*;q=0.7"; 
    $header[] = "Accept-Language: en-us,en;q=0.5"; 
    $header[] = "Pragma: ";

    curl_setopt($curl, CURLOPT_URL, $url); 
    curl_setopt($curl, CURLOPT_USERAGENT, 'Mozilla/5.0 (Windows; U; Windows NT 5.1; en-US; rv:1.9.2.3) Gecko/20100401 Firefox/3.6.3'); 
    curl_setopt($curl, CURLOPT_HTTPHEADER, $header); 
    curl_setopt($curl, CURLOPT_REFERER, 'http://www.google.com'); 
    curl_setopt($curl, CURLOPT_ENCODING, 'gzip,deflate'); 
    curl_setopt($curl, CURLOPT_RETURNTRANSFER, 1); 
    curl_setopt($curl, CURLOPT_FOLLOWLOCATION, 1);
    curl_setopt($curl, CURLOPT_VERBOSE, TRUE);
    curl_setopt($curl, CURLOPT_FRESH_CONNECT, 1);
    curl_setopt($curl, CURLOPT_MAXREDIRS,50);
    curl_setopt($curl, CURLOPT_TIMEOUT, 10); 
    $info = curl_getinfo($ch);

    $html = curl_exec($curl);
    if (!$html) 
    {
        echo "cURL error number:" .curl_errno($curl);
        echo "cURL error:" . curl_error($curl);
        exit;
    }

    curl_close($curl);

    echo $html;

在这台服务器上我运行的是一个带有nginx,php-fpm和varnish的ubuntu

PHP Version 5.3.10-1ubuntu3.5 - cURL Version 7.22.0

它在亚马逊的微型实例上工作(两个网址都是这样的),几乎相同的配置 - 除了版本。

PHP Version 5.3.6-13ubuntu3.9 - cURL Version 7.21.6

它也可以在windows / apache上的localhost上使用相同的php脚本。

-

我已经尝试了cookiejar和cookiefile,但是由于我没有得到回复我也没有得到cookie。还尝试将CURLOPT_SSL_VERIFYPEER设置为false。

我还能尝试其他什么吗?

-

更新1

刚刚注意到我无法ping我的新服务器,但我可以ping亚马逊服务器。

所以我禁用了ufw防火墙,然后我通过ping获得了响应,但curl仍然没有工作。

1 个答案:

答案 0 :(得分:2)

您会收到超时,因为远程HTTP服务器不会在您请求的超时期限内发回响应。它真的很简单。它实际上甚至不会在这5秒内发送一个字节,正如错误消息所告知的那样。

您能够ping它是完全无关紧要的,因为ping是一个ICMP消息,它与来自该站点的Web服务器的HTTP响应非常不同。

现在,您当然要问的问题是为什么服务器没有响应您的请求,而且如果不了解更多信息就不容易判断。它可能很简单,因为你以前没有行为,服务器会忽略你,它可能只是很慢或者可能是其他几个原因之一...