我正在尝试在python中创建一个简单的通用多线程异步下载器。通常可以对服务器进行多次并行连接,而且被禁止或速率受限的风险最小。
我知道网络在某些情况下会受到限制,但我们假设在这种情况下,为了讨论,网络在这种情况下不是问题.I / O也是异步完成的。
根据Browserscope,浏览器一次最多可以创建17个连接。
但根据我的研究,大多数下载管理员都会在multi-part
下载文件,并为每个文件建立8个以上的连接。
1.一次可以下载多少文件?
2.一次可以下载多少个块?
3.这些块的最小大小应该是否值得创建并行连接的开销?
答案 0 :(得分:0)
取决于。
虽然有些服务器容忍大量连接,但其他服务器却没有。一般的Web服务器可能更偏高(低两位数),文件主机可能更敏感。
除非您可以检查服务器的配置,或者只是在您的禁令超时时尝试记住,否则没什么可说的。
但是你应该注意你的带宽。一旦您最大化了访问线,就无法进一步增加连接。