可接受的http请求率

时间:2011-06-10 11:43:24

标签: objective-c http macos denial-of-service

我想在我的应用程序中添加一个功能,该功能会解析HTML页面并依次跳转到每个<a href="http:\\foo" >

我会在每个页面上加载标题,描述和关键字并加载其他任何内容,并且不打算允许跳转超过一个。

这本身就是NSURLDownloadNSXMLDocument的一个简单应用,但我想知道......

是否有一个可接受的请求率不会使我的应用程序看起来像DOS事件,好像我只是以我从父页面解析它们的速率流出子请求然后我怀疑这将很快被检测到这样

1 个答案:

答案 0 :(得分:2)

您应该遵守the robots exclusion protocol。 RFC 2616规定了每个主机名的2个并发请求的限制,但是现代浏览器已经过了这个,并且规范的这一部分很可能会被修改。 NSURLConnection可能会在内部使用连接限制,但您应该检查一下。