我正在使用scthon与python 2.7.9，我的蜘蛛可以正常抓取数据。
但我发现数据太大了，所以我想多次抓取一个蜘蛛中的数据并写入不同的CSV文件。
例如：总共有“十一万”网页，我希望蜘蛛分别抓到“3万”，“3万”，“3万”，“2万”。
我该怎么办？我能在“蜘蛛”中完成吗？或者也许在“管道”中？
请有人帮助我。
我的代码链接：https://drive.google.com/open?id=0B6SUWnrBmDwSWmY1em1vbktyOWc&authuser=0
答案 0 :(得分：0)
一种简单的方法是将from和to作为spider arguments
scrapy crawl myspider -a from=30001 -a to=60000