class LazadaSpider(BaseSpider):
name = "lazada"
allowed_domains = ['lazada.com.my', 'lazada.co.id', 'lazada.vn', 'lazada.com.ph', 'lazada.co.th', 'lazada.sg']
def __init__(self, country, *args, **kwargs):
self.country = country
super(LazadaSpider, self).__init__(*args, **kwargs)
我从包含混合域的redis列表中弹出了启动请求。
我已在OffisteMiddleware
settings
SPIDER_MIDDLEWARES = {
'scrapy.spidermiddlewares.offsite.OffsiteMiddleware': 500
# 'scrapper.middlewares.ScrapperSpiderMiddleware': 543,
}
我有什么遗失的吗?不确定这是因为我是在接受我的自定义BaseSpider
而不是scrapy.Spider