“增加授权权限错误”
我在过去两个晚上在我的某个网站的网站管理员工具中收到此错误，我认为唯一可能导致此错误的更改是使用我的robots.txt文件。
就是这样：
User-agent: Mediapartners-Google
Disallow:
User-agent: Googlebot
Disallow:
User-agent: bingbot
Disallow:
User-agent: Yahoo-slurp
Disallow:
User-agent: Msnbot
Disallow:
User-agent: *
Disallow: /
此机器人文件验证并在网站管理员中运行测试以查看Google是否可以抓取网页，并且它说第5行允许googlebot（这是正确的）但我只是想知道是否
User-agent: *
Disallow: /
是否覆盖了Googlebots的命令？
在我开始收到此错误之前，我已将
放置User-agent: *
Disallow: /
首先是所有特定于机器人的命令 - 但它没有验证，但是 - 我没有得到 “增加授权权限错误”错误。
感谢您的帮助。
答案 0 :(得分：-1)
User-agent: *
Disallow: /
这就是导致爬行阻塞的原因。