Robots.txt，加密字符？禁止：/ azr94v2hh2lg /

Question

任何人都有想法是什么？我在robots.txt中找到了这个。这是某种加密字符吗？

Disallow: /azr94v2hh2lg/

Answer 1

  

这是某种加密字符吗？

不，robots.txt不支持加密。显然它本来是一个不存在的URL来抵消一些网络爬虫多年前所展示的错误。

我不知道原始来源是什么，它完全有可能不再在线，但这里有一个问题的来源，反过来引用另一个没有出现的网站暂停这个内容。

摘自http://seoserviceguide.com/what-is-indexing-and-pagerank/：

User-agent: *
Disallow: /azr94v2hh2lg/

     

注意：这个“/ azr94v2hh2lg /”“​​告诉谷歌以及任何其他机器人类型的搜索引擎不要超出你的”/ azr94v2hh2lg /“目录。当然，您的Web服务器上没有此目录。通过这样做，我们提供了一个真正的禁令指令，它将使搜索引擎感到高兴并且不会传递任何错误。您可以将“/ azr94v2hh2lg /”替换为您希望的任何其他目录名称，只要该目录不存在且永远不会成为您网站的一部分，它将具有相同的效果。“ - www.scrubtheweb.com。

据说一些抓取工具在没有包含至少一个非空robots.txt条目的Disallow文件的情况下无法正确抓取网站，而这个字符序列是有人提出的伪随机字符串实现这一目标。

至于此类索赔的有效性，我无法发表评论。在SEO建议方面，我发现有大量可疑的谣言和未经证实的说法。

然而，如果这是真的，我非常怀疑这个问题是否仍然相关。