Scrapy + Splash返回了很多504个超时错误

时间:2018-07-03 10:38:39

标签: amazon-web-services scrapy splash-screen scrapy-splash

我已按照Splash的常见问题解答进行生产设置,并且我的系统当前如下所示:

  • 1个具有6个并发请求的Scrapy容器。
  • 1个HAProxy容器,可进行负载均衡以飞溅容器
  • 2个飞溅容器,每个都有3个插槽。

我使用docker stats来监视我的设置,但我从来没有获得超过7%的CPU使用率或超过55%的内存使用率。

我仍然有很多

DEBUG: Retrying <GET https://the/url/ via http://haproxy:8050/execute> (failed 1 times): 504 Gateway Time-out

对于每个成功的请求,我都会得到6-7的超时时间。

我已经尝试过更改启动容器的插槽和并发请求的数量。我还尝试过在HAProxy后面使用单个启动容器运行。我不断收到这些错误。

我正在具有1GB内存的AWS EC2 t2.micro实例上运行。

我怀疑问题仍然与启动实例泛滥有关。您有什么建议可以减少Splash实例的负担吗?插槽和并发请求之间是否有很好的比率?我应该限制请求吗?

0 个答案:

没有答案