Question

我有一个rails应用程序。在我的评论部分，我在该网站的某些（文章）页面上报告了令人反感的内容。我希望通过搜索引擎获得文章，但不是特定的链接report as offensive content。

所以，简而言之，我的问题是 - 如何防止蜘蛛/搜索引擎关注我网站的“举报冒犯内容”链接？

Answer 1

您可以指定网页抓取工具不使用robots.txt文件进行抓取的链接。

在此处了解详情：

这是一个例子。在应用程序的最顶级目录中创建robots.txt，以便domain.com/robots.txt访问它。

User-agent: *
Disallow: /offensive

这表示对于每个用户代理，忽略/offensive网址。

Answer 2

我找到了一个答案

优点： - 很容易。只需一行

<a href="mypage.html" rel="nofollow" />

但缺点： -

我们的测试表明，一些搜索引擎会抓取并索引nofollow链接。 nofollow标签可能会降低链接提供的排名值，但不能可靠地用于阻止搜索引擎跟踪链接。