我在根目录中有一个包含以下robots.txt的网站：
User-agent: *
Disabled: /
User-agent: Googlebot
Disabled: /
User-agent: Googlebot-Image
Disallow: /
此网站中的网页全天都会被Googlebots扫描。我的文件或Google有问题吗？
答案 0 :(得分：23)
应该是Disallow:，而不是Disabled:。
答案 1 :(得分：9)
答案 2 :(得分：2)
Google有一个分析工具，用于检查robots.txt条目，read about it here
您可能还想检查“流氓”机器人的IP地址，看看它们是否真的归谷歌所有。
答案 3 :(得分：0)
此外，我相信机器人沿着页面走下去，并采用适用于它的第一个指令。在您的情况下，Googlebot和Googlebot-Image永远不会看到他们的特定指令，因为他们会首先尊重“User-Agent：*”。
忽略这个答案。我找到的信息表明情况并非如此。机器人应该找到特定于它的指令并尊重它