Google停止抓取我的网页,因为我的robots.txt
文件无意中被移动了。它说我应该通过去地址http://www.site.com//robots.txt
来确保它在那里。它就像那样有两个斜线。但它仍然有效。它也适用于三个。那是怎么回事?即使我可以理解为什么它可以被忽略 - 我没有在两者之间指定任何目录 - 为什么优先显示像这样的URL,就像谷歌网站管理员的页面那样?
答案 0 :(得分:2)
大多数(所有?)服务器似乎在主机名之后直接允许多个斜杠(但不是在其他位置),例如参见:
(相关问题:How to avoid multiple slashes after domain name in url using htaccess?)
但是,当Google网站管理员工具显示带有两个斜杠的网址时,您可能已在GWT偏好设置中使用尾部斜杠(http://example.com/
而不是http://example.com
)设置了您的域。见this question for Google Analytics(我猜它应该与GWT相似)。