对于面向公众的网站，我是否绝对需要robots.txt文件？

Question

我正在审查我的几个网站，以确保我的SEO基础被覆盖。相关网站上没有私人网页，我们希望将所有网页编入索引。无论如何，包括robots.txt文件，即使不需要，也会让我的网站看起来更有信誉并且对Google很重要吗？

Answer 1

我只会包含一个空白的，因为没有它，你的服务器仍在向请求者吐出404消息。这可能比空白的robots.txt文件更大。

Answer 2

根据Google，这是一个好主意。他们的指示/指导实际上非常彻底。

Answer 3

只有谷歌才能为您解答。

根据wikipedia，robots.txt仅适用于黑名单，速率限制和站点地图。

Answer 4

这个问题已经得到解答，但答案都有点陈旧，搜索结果中出现了这个问题，事情也发生了变化。

Google now recommend以下内容：

  

如果您希望搜索引擎为您网站中的所有内容编制索引，那么您就不会   需要一个robots.txt文件（甚至不是空文件）。

JohnMu（Google）也制作了following suggestion：

  

我建议更进一步，也许删除   robots.txt文件完全。

Answer 5

不，它不会。

谷歌有自己的规则来决定，不会依赖于robots.txt的存在。

Answer 6

搜索引擎会查找robots.txt文件。如果不存在，搜索引擎将获得404.即使它是空白的，也有一个好主意。