如何在搜索引擎结果中隐藏Robots.txt？

Question

我不想在搜索结果列表中看到 Robots.txt 。我正在开发一个 asp.net 项目。

我找到了一些失败的解决方案，其中一个解决方案如下：

  

  
• 在标题中使用“X-Robots-Tag”。
  

但我想隐藏一个txt文件，因此其中没有“标题”部分。

感谢您的帮助。

Answer 1

大写对大多数热门搜索引擎都很重要，包括Google（source）。将文件名从Robots.txt更改为robots.txt。如果你说得对，大多数流行的搜索引擎（必应，雅虎，谷歌等）都不会为它编制索引。您无需付出额外的努力。

Here是雅虎的抓取工具帮助，用于描述区分大小写。

Here是描述有关robots.txt的抓取工具的常见礼节的标准。明确指出空robots.txt文件被完全忽略，并且常识不会将它们编入索引。否则，我们会在Google中看到数十亿个robots.txt搜索结果。

Answer 2

通过http发送的txt文件有一个标题（包含类型：text / plain），只需接收请求并使用您自己的标题发送txt。