为什么它不能在下一个解析出来?关于Scrapy爬行

时间:2016-05-04 03:12:15

标签: python scrapy

问题是,代码无法进入下一页和parse_item

这是我的代码:

    allowed_domains = ['http://192.168.99.100/']
start_urls = ['http://192.168.99.100:32768/properties/index_00000.html',]

# Rules for horizontal and vertical crawling
rules = (
    Rule(LinkExtractor(restrict_xpaths='//*[@itemprop="url"]')),
    Rule(LinkExtractor(restrict_xpaths='//*[contains(@class,"next")]'),
         callback='parse_item', follow=True),

代码有问题吗? 我从书ch03

中复制了这段代码

1 个答案:

答案 0 :(得分:-1)

很奇怪。 我只是修改了本书代码中的url,我得到了错误的输出。 我不知道为什么,但我会避免直接使用ip作为网址。

所以答案是,将代码中的192.168.99.100更改为web,然后再更改/ etc / hosts并添加' 192.168.99.100 web'到底。