标签: python scrapy web-crawler
我打算创建一个网站,对几家公司提供的服务进行价格比较。 主要思想是访问者在网站上输入搜索要求并开始搜索,抓取结果立即显示在网站上而不是作为文件输出。
我是python和scrapy的新手,不确定scrapy是否可以这样做?
python
scrapy
我每天都会使用它,甚至每天都会使用它,并在30多个网站上抓取。我担心搜索可能会使服务器超载?共享网络托管可以支持这种抓取吗?是否有任何系统性能要求?