Scrapy从同一个域抓取多个站点

时间:2015-04-06 16:16:50

标签: python web-crawler cross-domain scrapy

我正在使用Scrapy抓取网站并使用2个不同页面进行资源抓取,但它们位于同一个域中。

我应该为每个不同的页面创建1个蜘蛛,还是只使用条件来控制蜘蛛的流量并保存不同的XPath内容?

0 个答案:

没有答案