标签： python scrapy scrapyd scrapy-splash web-scripting
我有一个带有网络界面的项目，我应该每周（月）从3000下载到20000个网址。我使用票证系统来显示进度：下载的内容，待下载的内容，哪些URL有超时错误和类似问题。现在我正在使用ScrapyD，但计划切换到ScrapyRT。因为它看起来更容易运行单个URL并在其后获得结果 - 更新票证状态。 我的问题是有多少独立请求可以收到ScrapyRT？我试图接近50-100请求抓取异步，服务器就停止工作。
3000
20000
ScrapyD
ScrapyRT
还是存在另外一种方法怎么做？ Scrapy集群或Frontera不适合我