Python&关于VPS的Selenium Scrapers - 滞后问题

时间:2016-02-23 22:41:02

标签: python django selenium web-scraping vps

以下是基本设置: Django上的Python 2 硒和硒BeautifulSoup MqSQL

我建立了一个搜索引擎。在用户输入搜索条件后,我根据查询填写表单,从所述源中搜索数据,使用我的算法对数据进行排序和组织,并将结果显示给用户。

乘以一些刮刀+用户数量,这已成为一场噩梦。

我的托管服务提供商声称某些进程正在使vps上的RAM过载导致该站点像DDoS一样停顿。到目前为止的流程是: 1. Xvfb 2. Apache2 3. Chrome 4.初始化刮刀的python脚本

问题1:我如何才能最好地优化上述流程,尽可能减少印记(也就是说知道我是否真的需要在vps上启动RAM)?

问题2:对于像这样的项目,最好的启动服务器设置是什么?我目前在2个节点上运行,带2GB RAM +高带宽增强,可扩展到4GB RAM。对此的想法?

0 个答案:

没有答案