Scrapy的系统性能要求?

时间:2016-05-26 04:26:35

标签: python scrapy web-crawler

我打算创建一个网站,对几家公司提供的服务进行价格比较。 主要思想是访问者在网站上输入搜索要求并开始搜索,抓取结果立即显示在网站上而不是作为文件输出。

我是pythonscrapy的新手,不确定scrapy是否可以这样做?

我每天都会使用它,甚至每天都会使用它,并在30多个网站上抓取。我担心搜索可能会使服务器超载?共享网络托管可以支持这种抓取吗?是否有任何系统性能要求?

0 个答案:

没有答案