Question

我试图创建一个抓取网站上所有链接的脚本只有一个小问题：我在不同的页面上测试了它，但结果不一样，并且没有抓取一些链接我不知道为什么，所以我问这个问题

这是代码：

$list = array();
$count = 0;
function crawl_page($url) {
    global $list, $count;
    if(isset($list[$url])) {
        if($list[$url] == true) {
            return;
        }
    }
    $list[$url] = true;
    $dom = new DOMDocument('1.0');
    @$dom->loadHTMLFile($url);
    // I wrote this for not following other websites, it's so rude but it works
    if(!strpos($url, "example.com")) {
        return;
    }
    $anchors = $dom->getElementsByTagName('a');

    foreach($anchors as $element) {
        $href = $element->getAttribute('href');
        if(0 !== strpos($href, 'http')) {
            $path = '/' . ltrim($href, '/');
            if(extension_loaded('http')) {
                $href = http_build_url($url, array('path' => $path));
            } else {
                $parts = parse_url($url);
                $href = $parts['scheme'] . '://';

                if (isset($parts['user']) && isset($parts['pass'])) {
                    $href .= $parts['user'] . ':' . $parts['pass'] . '@';
                }
                $href .= $parts['host'];
                if (isset($parts['port'])) {
                    $href .= ':' . $parts['port'];
                }
                $href .= $path;
            }
        }
        if(!array_key_exists($href, $list)) {
            $list[$href] = false;
        }
    }
    $count++;
    echo "$count $url<br>";

    foreach($list as $asd => $seen) {
        crawl_page($asd);
    }
}
crawl_page('http://www.example.com');

Answer 1

这段代码可能会给你一个连接超时，因为它永远不会结束。对于每个链接，您可以反复运行相同的功能。

您可以使用这样的库：http://phpcrawl.cuab.de/

或者如果你真的想重新发明轮子，你需要有一个工作来获取一些尚未解析的链接，保存从该页面引用的所有链接并将数据保存在数据库中。另一项工作将获取下一个链接并继续。

这里已经回答：How does a web crawler work?

太多的foreach或连接超时？T

1 个答案: