Question

我知道robots.txt文件用于阻止第三方索引内容网站的网页抓取工具。

但是，如果此文件的目标是划分网站的私有区域或保护私有区域，这是尝试使用robots.txt隐藏内容的意义，如果可以在GitHub存储库中看到所有内容？

我的问题是使用自定义域扩展示例。

是否有动力在GitHub页面中使用文件robots.txt？是还是不是？为什么？

备选方案1
对于那些内容保持有效隐藏，那么将需要为网站付费就是获得私有存储库。

Answer 1

robots.txt的目的不是划定私人区域，因为机器人甚至无法访问它们。相反，如果你有一些垃圾或任何你不想被搜索引擎索引的杂项，那么它就是这样。

比如说。我为娱乐编写Flash游戏，我使用GitHub页面允许游戏检查更新。我在我的GHP上托管了this file，所有内容都是

10579
2.2.3
https://github.com/iBug/SpaceRider/tree/master/SpaceRider%202

它包含三条信息：新版本的内部编号，新版本的显示名称和下载链接。因此，当抓取工具编入索引时肯定没用，所以当我有robots.txt这样的东西时，我会远离被编入索引。