谷歌针对googlebot的robots.txt测试程序在Disallow上引发错误：.idea

Question

Google针对googlebot的robots.txt测试程序在Disallow: .idea上抛出错误。

但是，它会报告0个错误和0个警告。

Answer 1

您的robots.txt文件 包含错误，但Google的测试工具未正确报告错误。

首先是错误。您有几个指令，其中路径不以斜杠开头，例如：

Disallow: CVS
Disallow: .svn
Disallow: .git
...

Google's robots.txt specification说这是不允许的：

  

如果指定了[path]值，则相对于获取robots.txt文件的网站的根目录（使用相同的协议，端口号，主机和域名）。 路径值必须以＆＃34; /＆＃34; 开头，以指定根。

要解决此问题，您需要始终指定以斜杠开头的路径。在您的情况下，您可能需要使用通配符，例如：

Disallow: /*CVS
Disallow: /*.svn
Disallow: /*.git
...

Google测试工具似乎没有将这些报告为错误。 （红色条不表示错误，它只是指示哪个指令正在执行阻止。）但是，这些是错误。他们的行为是不明确的，几乎肯定不是你想要的行为。