我目前正在构建一个网络抓取工具，并希望根据请求添加延迟，因此我不会点击Web服务器。
添加此延迟的最合适方法是什么？
此外，爬虫的延迟时间是多少？我想的是.5-1秒。
由于
答案 0 :(得分：7)
您可以使用
Thread.Sleep(TimeSpan.FromSeconds(1))
搜索引擎可能会使用10-15甚至60秒的较大延迟。礼貌的爬虫尊重robots.txt中提供的网站“爬网延迟”。有关详细信息，请查看http://en.wikipedia.org/wiki/Web_crawler#Politeness_policy