标签: web-crawler nutch robots.txt
是否可以在nutch中限制命中率/ IP地址?换句话说,我可以配置nutch,使其每小时只能达到IP x次数等吗?
答案 0 :(得分:2)
是的,您可以通过更改nutch-default.xml文件中的fetcher.server.delay,fetcher.server.min.delay,fetcher.threads.per.queue,fetcher.queue.mode设置值来限制速率。