在荷兰的命中率限制

时间:2012-09-10 13:03:05

标签: web-crawler nutch robots.txt

是否可以在nutch中限制命中率/ IP地址?换句话说,我可以配置nutch,使其每小时只能达到IP x次数等吗?

1 个答案:

答案 0 :(得分:2)

是的,您可以通过更改nutch-default.xml文件中的fetcher.server.delay,fetcher.server.min.delay,fetcher.threads.per.queue,fetcher.queue.mode设置值来限制速率。