Question

嗨！我正在使用php制作网络抓取工具。起初我刚刚开始网页内容（使用函数get_links），它很快，但随后在添加了所有其他功能之后，它变得非常缓慢。我的网络抓取工具实际上是抓取的。当我检查网络监视器在检查员中，我根本没有得到任何回应。可能是什么问题？互联网速度是一个因素吗？为什么要花太长时间加载？如果你可能会问，我的平面形式是Ubuntu 15.4而且我只是使用了 localhost作为服务器。这是我的代码。

<?php
    error_reporting(E_ALL);
    ini_set('display_errors', '1');


    $to_crawl = "http://bestspace.com";
    $c = array();
    $i = 0;

    function get_links($url) {
        global $c;
        $input  = @file_get_contents($url);
        $regexp = "<a\s[^>]*href=(\"??)([^\">]*?)\\1[^>]*>(.*)<\/a>";
        preg_match_all("/$regexp/siU", $input, $matches);
        $base_url = parse_url($url, PHP_URL_HOST);
        $l = $matches[2];

        foreach($l as $link) {

            if (strpos($link, "#")) {
                $link = substr($link, 0, strpos($link, "#"));
            }
            if (substr($link,0,1) == ".") {
                $link = substr($link, 1);
            }
            if (substr($link,0,7) == "http://") {
                $link = $link;
            }
            else if (substr($link,0,8) == "https://") {
                $link = $link;
            }
            else if (substr($link,0,2) == "//") {
                $link = substr($link, 2);
            }
            else if (substr($link,0,1) == "#") {
                $link = $url;
            }
            else if (substr($link,0,7) == "mailto:") {
                $link = "[".$link."]";
            }
            else {
                if (substr($link, 0, 1) != "/") {
                    $link = $base_url."/".$link;
                }
                else {
                    $link = $base_url.$link;
                }
            }

            if (substr($link, 0, 7) != "http://" && substr($link, 0, 8) != "https://" && substr($link, 0, 1) != "[") {
                if (substr($link, 0, 8) == "https://") {
                    $link = "https://".$link;
                }
                else {
                    $link = "http://".$link;
                }
            }
            //echo $link."<br/>";
            if (!in_array($link, $c)) {
                array_push($c, $link);
            }

        }
    }

    get_links($to_crawl);
    //echo "ARRAY <br />";
    foreach ($c as $page) {
        # code...
        get_links($page);
        //echo $page."<br />";
    }


    function get_domain($url)
    {
        $host = @parse_url($url, PHP_URL_HOST);
        if (!$host)
            $host = $url;

        if (substr($host, 0, 4) == "www.")
            $host = substr($host, 4);

        if (strlen($host) > 50)
            $host = substr($host, 0, 47) . '...';

        return $host;
    }


    function content_type($url) {

        $ch = curl_init($url);
        curl_setopt ($ch, CURLOPT_RETURNTRANSFER, 1) ;
        $content = curl_exec($ch);
        if(!curl_errno($ch))
            {
                $info = curl_getinfo($ch, CURLINFO_CONTENT_TYPE);

            }
    return $info;
    curl_close($ch);

    }


        echo "<table class = 'table table-striped'>";
        echo "<tbody>";
        echo "<tr>";
        echo "<th>#</th><th>DOMAIN NAME</th><th>CATEGORY</th><th>URL</th>";
        echo "</tr>";
    foreach ($c as $page) {
        $i++;
        echo "<tr>";
        echo "<td >".$i."</td><td>".get_domain($to_crawl)."</td><td>".content_type($page)."</td><td>".$page;
        echo "</td>";

        echo "</tr>";
        }
        echo "</tbody>";
        echo "</table>";

    ?>

Answer 1

我要发送链接进行彻底调查，因为它就像网页的jquery一样。它是高质量的网络爬行软件和平，你会更有效率，相信我！

看看例子，稍后再说：）

http://simplehtmldom.sourceforge.net/

hth，k

是什么让我的网络抓取工具变慢了？

1 个答案: