我从各种网络服务器下载了一个完整的目录静态图片内容（百万+图片，全部合法）。
我想有效地下载图片，但我正在考虑每个域有什么限制我应该放在＃并发连接和时间连接尝试之间，以避免被DOS工具和其他限制因素列入黑名单。
答案 0 :(得分：0)
我需要寻找的关键词是“网络抓取器礼貌”，它出现了一些非常有用的文章来回答这个问题：
Typical politeness factor for a web crawler?
http://blog.mischel.com/2011/12/20/writing-a-web-crawler-politeness/