如何记录Scrapy设置？

Question

Scrapy从许多来源获取其设置 - 环境参数，配置文件，程序设置 - 所以我想记录有效设置以查看它有什么。

我该怎么做？

我只是在Scrapy的Settings对象中迭代键和值，但它没有像人们预期的那样暴露dict的完整接口。

Answer 1

您可以迭代可用的属性：

for name in crawler.settings.attributes:
    value = crawler.settings.get(name)
    print name, '=', repr(value)

输出：

CLOSESPIDER_ITEMCOUNT = 0
USER_AGENT = u'Scrapy/1.0.3 (+http://scrapy.org)'
HTTPCACHE_DIR = 'httpcache'
MEMUSAGE_REPORT = False
...