我想让命令行args抓紧,并在Spider中使用sys.argv []来检查哪些URL具有该参数。对于蜘蛛命名的网址,我该怎么做?
$ scrapy抓取网址为“ 2018年8月1日”?
答案 0 :(得分:0)
您可以按照文档https://doc.scrapy.org/en/latest/topics/spiders.html#spider-arguments
的说明使用__init__()
将参数传递给蜘蛛的-a
。
默认方法会将所有参数转换为蜘蛛属性,但是如果需要对它们进行处理,也可以创建自定义参数。