用scrapy管理多个蜘蛛

Question

我正在创建一个聚合器，我开始使用scrapy作为我的初始工具集。 首先我只有一些蜘蛛，但随着项目的增长，似乎我可能拥有数百甚至上千种不同的蜘蛛，因为我刮了越来越多的网站。 管理这些蜘蛛的最佳方法是什么，因为有些网站只需要抓取一次，有些网站需要定期抓取？ 在处理如此多的网站时，scrapy仍然是一个很好的工具，还是会推荐其他技术。

Answer 1

您可以查看项目scrapely，该项目来自scrapy的创建者。但是，据我所知，它不适合解析包含javascript的网站（更确切地说，如果解析的数据不是由javascript生成的）。