Scrapy忽略允许的域名

时间:2017-07-05 17:26:16

标签: python scrapy scrapy-spider

class LazadaSpider(BaseSpider):
    name = "lazada"
    allowed_domains = ['lazada.com.my', 'lazada.co.id', 'lazada.vn', 'lazada.com.ph', 'lazada.co.th', 'lazada.sg']

    def __init__(self, country, *args, **kwargs):
        self.country = country
        super(LazadaSpider, self).__init__(*args, **kwargs)

我从包含混合域的redis列表中弹出了启动请求。 我已在OffisteMiddleware

内启用了settings
SPIDER_MIDDLEWARES = {
   'scrapy.spidermiddlewares.offsite.OffsiteMiddleware': 500
   # 'scrapper.middlewares.ScrapperSpiderMiddleware': 543,
}

我有什么遗失的吗?不确定这是因为我是在接受我的自定义BaseSpider而不是scrapy.Spider

0 个答案:

没有答案