Question

我已经开始学习网络抓取工具了，并且借助我在下面构建这个简单文章的文章。

它建议使用多线程来改进并使网络爬虫更快。

我想知道是否有人可以帮助我了解有关多线程的更多信息，甚至可能将其应用于下面的抓取工具。

此外，如果您有任何其他建议或改进来改进此抓取工具，请随时分享。

以下是代码：

error_reporting( E_ERROR );

define( "CRAWL_LIMIT_PER_DOMAIN", 50 );

$domains = array();

$urls = array();

function crawl( $url )
{
    global $domains, $urls;
    $parse = parse_url( $url );
    $domains[ $parse['host'] ]++;
    $urls[] = $url;

    $content = file_get_contents( $url );
    if ( $content === FALSE )
        return;
    else {
        // do something with content.
    }

    $content = stristr( $content, "body" );
    preg_match_all( '/http:\/\/[^ "\']+/', $content, $matches );

    foreach( $matches[0] as $crawled_url ) {
        $parse = parse_url( $crawled_url );
        if ( count( $domains[ $parse['host'] ] ) < CRAWL_LIMIT_PER_DOMAIN && !in_array( $crawled_url, $urls ) ) {
            sleep( 1 );
            crawl( $crawled_url );
        }
    }
}

先谢谢你 - 我很感激所有和任何帮助。

Answer 1

幸运与否，PHP不支持多线程。你可以做的是实现asynchronus模式，但这意味着你必须忘记好的，一行函数，如file_get_contents，并切换到最低级别的页面读取（使用fsockopen，然后执行所有写入和读取手动处于非阻塞模式，让其他人在特定操作需要等待的情况下完成工作时，请参阅示例代码here。

使用多线程来改进网络爬虫/蜘蛛

1 个答案: