scrapy中的动态start_urls

时间:2012-01-10 03:35:27

标签: web-crawler scrapy

我正在使用scrapy抓取网站上的多个网页。 变量start_urls用于定义要爬网的页面。 我最初会从第一页开始,因此在文件start_urls = [1st page]

中定义example_spider.py

从第一页获取更多信息后,我会确定要抓取的下一页是什么,然后相应地分配start_urls。因此,我必须覆盖上面的example_spider.py并更改start_urls = [1st page, 2nd page, ..., Kth page],然后再次运行scrapy抓取。

这是最好的方法还是使用scrapy API动态分配start_urls而不必覆盖example_splider.py? 感谢。

1 个答案:

答案 0 :(得分:22)

start_urls class属性包含start urls - 仅此而已。如果您已经提取了其他页面的网址,则需要使用[另一个]回调从parse回调相应的请求中获取:

class Spider(BaseSpider):

    name = 'my_spider'
    start_urls = [
                'http://www.domain.com/'
    ]
    allowed_domains = ['domain.com']

    def parse(self, response):
        '''Parse main page and extract categories links.'''
        hxs = HtmlXPathSelector(response)
        urls = hxs.select("//*[@id='tSubmenuContent']/a[position()>1]/@href").extract()
        for url in urls:
            url = urlparse.urljoin(response.url, url)
            self.log('Found category url: %s' % url)
            yield Request(url, callback = self.parseCategory)

    def parseCategory(self, response):
        '''Parse category page and extract links of the items.'''
        hxs = HtmlXPathSelector(response)
        links = hxs.select("//*[@id='_list']//td[@class='tListDesc']/a/@href").extract()
        for link in links:
            itemLink = urlparse.urljoin(response.url, link)
            self.log('Found item link: %s' % itemLink, log.DEBUG)
            yield Request(itemLink, callback = self.parseItem)

    def parseItem(self, response):
        ...

如果您仍想自定义创建开始请求,请覆盖方法BaseSpider.start_requests()