我每分钟都有一个Feed阅读器（它会选择经常更新的Feed）。但是在访问一些网站时，我似乎遇到了被Akamai阻止的问题。也许他们认为我能做些什么，但我不是 - 我只是想得到这个。
有关如何与Akamai玩得开心或以不同方式编码的任何想法？据我所知，除了轮询之外，我无法知道Feed的更新时间 - 但是有一种首选方式 - 比如检查缓存吗？这是用c＃编码的，但我怀疑这会有所不同。
答案 0 :(得分：0)
如果没有更多的背景信息，很难确定您被阻止的原因。是因为速率限制还是其他访问控制措施？ 假设它是速率限制，那么你无能为力。我建议您首先验证robots.txt是否允许您抓取URL，如果允许则使用某种指数退避。通过提供有意义的用户代理帮助玩得更好，这样当他们更新规则时，他们可能会考虑将合法请求列入白名单，例如您自己。