我的抓取工具提前终止，只抓取第五级别。注意我没有更改默认设置。
但它确实说有重复的请求。那是什么原因吗？
这是输出：
2014-01-16 14:06:34+0800 [Squarefoot] DEBUG: Filtered duplicate request: <GET http://www.abc.com/search/?districts%5B%5D=95&districts%5B%5D=97&from=121&from=91&perpage=30&size_max=700&size_min=500&sort=pa&type=rent> - no more duplicates will be shown (see DUPEFILTER_CLASS)
2014-01-16 14:06:34+0800 [Squarefoot] INFO: Closing spider (finished)