如何计算mult_curl的最佳并行下载数？

Question

我运行一个不断下载大量网站的爬虫。带宽不是问题。并行下载是否有标准最大值？或者一种方法来计算我可以在不威胁服务器正常运行时间的情况下下载多少网址？

编辑：我指的是我服务器上的资源使用情况。下载列表旨在简化远程服务器上的负载。

Answer 1

大多数浏览器每台服务器执行2-5个并行请求。这是一个相当合理的范围，但如果你真的想要安全，请选择2。最终，对服务器的影响取决于太多的变量（服务器速度，内存，带宽，动态代码，每秒请求数......），以提供精确的答案。

更新：感谢您澄清问题。我认为没有人能给你答案。假设您确实拥有几乎无限的带宽，那么决定您的安全负载的因素数量仍然会发生巨大变化。您甚至没有讨论过您的脚本对下载内容的影响。如果它直接保存到磁盘，你的限制将在你的IO系统中的某个地方，其性能取决于我上面提到的所有内容。因为它是你的问题无法回答，如果它可能属于ServerFault，因为它实际上是一个关于优化和监控IO负载的问题。

简短的回答：不，没有关于客户端计算机的最大下载的正式或非正式标准，唯一的解决方法是尝试不同的限制并监控负载。