卷曲超过100K的请求

Question

我使用curl_multi_exec来处理超过100K的请求。我一次做100个请求，因为curl_multi_exec一次只能处理10个请求，最终得到100K请求。我们在这个系统中添加了多个服务器以分散负载[我们正在使用负载平衡]。 curl处理100K请求并使用这些额外服务器的最佳方法是什么？在一台服务器上处理许多请求有什么缺点（除了时间）？如何使用其他服务器来帮助处理这些请求？

详细说明 - 基本上，我们使用curl向第三方服务器发送超过100K的请求。仅使用1个服务器的问题是服务器可以处理的请求数量存在内存限制。所以我们决定添加额外的服务器，但是我们不确定如何设计这个系统来使用curl来处理那么多请求..

谢谢！

Answer 1

不要痴迷于CURL。它只是一个工具。你专注于错误的设计水平。

您需要考虑的是如何在多个服务器之间传播此工作负载。一个简单的设计将有一个中央数据库列出你的所有网址，以及一个方法，让客户“检查”一个网址（或一组网址），以便开启。

一旦你开始工作，卷曲部分将是最简单的部分。