10节点集群上的并发或并行请求

Question

我编写了一个包含200个并发线程的简单脚本，这些线程可以生成http请求并处理结果。我需要做大约50,000,000个请求。 脚本是对“无扭曲解决方案”的简单修改建议here（第一个回复）。

如果我想在10节点AWS群集上运行它，我该如何并行化它？ 如果我只是将该脚本复制到一个节点上并运行它，会发生什么？与本地机器相同吗？

对这一切不熟悉，我需要一个起点。谢谢！

Answer 1

在AWS上，您可以拥有Elastic Load Balancer（ELB）。您可以手动或在AutoScaling组内设置所有内容。无论哪种方式，您的X（X = 10：D）实例都将附加到ELB。您需要正确设置ELB运行状况检查，以便它看到Instances运行正常并为所有运行提供流量。 如果这样做，您需要将并发请求发送到ELB端点。如果需要，还可以检查Sticky会话，或者导致错误结果，例如将所有流量发送到一个实例，因为所有请求的来源都是相同的。