我使用scrapy 1.3 根据文档,我可以简单地声明每个特定蜘蛛的设置。 这是我的代码
class BhSpider(scrapy.Spider):
name = "code"
custom_settings = {'CONCURRENT_REQUESTS' : '20',
'FEED_EXPORT_FIELDS' :['price', 'stock','partnumber','sku', 'name' ,'manufacture','attribute','distributor','upc','descr', 'p_url','main_image','images']}
allowed_domains = ***
但根据日志项目设置使用。 我如何知道这个特定的蜘蛛设置是否克服了项目设置?
这是日志
2017-08-20 13:47:51 [scrapy.utils.log] INFO: Scrapy 1.3.2 started (bot: pc)
2017-08-20 13:47:51 [scrapy.utils.log] INFO: Overridden settings: {'NEWSPIDER_MODULE': 'pc.spiders'
, 'FEED_URI': 'test_output1.csv', 'CONCURRENT_REQUESTS': 200, 'SPIDER_MODULES': ['pc.spiders'], 'BO
T_NAME': 'pc', 'USER_AGENT': 'Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko) C
hrome/59.0.3071.115 Safari/537.36', 'FEED_FORMAT': 'csv', 'FEED_EXPORT_FIELDS': ['price', 'stock',
'partnumber', 'sku', 'name', 'manufacture', 'attribute', 'distributor', 'upc', 'descr']}
2017-08-20 13:47:51 [scrapy.middleware] INFO: Enabled extensions:
在输出文件中,导出字段似乎是正确的(如在自定义设置中,尽管日志不显示)。 我怎么知道启用了特定设置?