robots.txt中抓取延迟的最大值是多少?

时间:2018-09-05 01:16:22

标签: delay robots.txt bing yandex

与标题中一样,robots.txt中可以设置爬网延迟的最大值是什么?

我从bing中获得的点击很少,但是bing在服务器中比Google消耗更多的资源。

所以我根本不想阻止bing(因为它不好),但我需要限制对我的服务器的bing访问。

我看到有人使用爬网延迟:120,但是随后我看到bing只能理解从10到30的爬网延迟。

我在robots.txt上进行了一些测试,起初似乎可以正常工作,但过了一会儿我开始收到bing的很多请求。 我还尝试在bing网站管理员工具上设置扫描频率,但是并没有太大变化。

我想为yandex做同样的事情,我不能每天获得250000次点击来换取每月10次访问,但我不想完全阻止它。

总结一下,可用于bing和yandex的最大爬网延迟值是多少?

0 个答案:

没有答案