阻止谷歌索引couchdb设计文档

Question

我基于couchdb创建了一个Web应用程序。它托管在cloudant.com上（谢谢你们，来自cloduant的人真棒！）。

该应用的名称为R.I.D.E.::Research Infrastructure Database for EPOS。

我的问题是，当谷歌搜索时，如果您插入关键字“epos ride”，那么first result is the design document ...这对于搜索网络应用的客户来说绝对没问题！

只要我理解，就不可能：

1. read_protect设计文档（它们包含用户必须可访问的基本信息，请参阅。http://guide.couchdb.org/draft/design.html）;
2. 从该页面创建一个“重定向”到真正的索引页面（它只有一个“/index.html”appendend），因为这个想法正是通过这个RESTful API获得设计文档。

所以我认为唯一的办法是阻止谷歌索引设计文件。这有可能吗？ 还有其他解决方案可以解决这个问题吗？

Answer 1

您可以告诉Google以及其他搜索引擎，您不希望将自己的网络部分编入索引。

只需将文件robots.txt放在您公开的可访问网站的根目录中，这样所有机器人都可以在http://www.example.com/robots.txt找到它，其中www.example.com是您的域名地址。

这是一个简单的文本文件，您可以在下面找到如何使用该文件向Web机器人发出命令的示例。

http://en.wikipedia.org/wiki/Robots_exclusion_standard说：

该标准规定了用于通知机器人不应处理或扫描网站区域的指令格式

此示例告诉所有机器人他们可以访问所有文件，因为通配符*指定所有机器人：

User-agent: *
Disallow:

此示例告诉所有机器人远离一个特定文件：

User-agent: *
Disallow: /directory/file.html

此示例告诉所有机器人不要输入三个目录：

User-agent: *
Disallow: /cgi-bin/
Disallow: /tmp/
Disallow: /junk/