php cURL是否会耗尽RAM或处理器能力？

Question

我目前有一个使用PHP cURL同时每分钟下载数百页的刮刀脚本。

我进行了设置，以便有一个主服务器和一些远程服务器使用 PHP cURL 下载页面并使用 REMOTE MYSQL连接发回数据（然后将数据保存在主服务器中。

我正在尝试优化并降低这些服务器的成本;我应该横向缩放还是垂直缩放？我应该寻找更多的RAM或处理器能力吗？

感谢任何帮助。

Answer 1

您应该添加NETWORK电源。 RAM只需要托管正在运行的进程，只需要CPU来触发网络连接。

请注意，网站不喜欢被请求所淹没。这通常被认为是攻击，他们可能会阻止你。所以要安全起来，做个好网民，尽量不要努力。一个好的蜘蛛概念会询问尽可能多的不同主机，但只对每个主机使用一个或两个请求。