Googlebot正在抓取我的网站并在我的评分系统上输入评分

Question

我的评分系统允许匿名用户添加评分，但Google的抓取工具会对评分进行评分。

如何确保Googlebot不会关注该链接？

Answer 1

您不应接受任何修改数据的行为的GET请求（投票，编辑帖子等）。您的投票应通过POST请求完成，Googlebot将不会执行此操作。

此SO帖子中的更多信息：When do you use POST and when do you use GET?

Answer 2

使用robots.txt指出机器人不应遵循的链接。例如，将以下内容放在http://example.com/robots.txt

中

User-Agent: *
Disallow: /vote.php

您可以在此处详细了解robots.txt： http://www.robotstxt.org/

Google和其他所有表现良好的机器人都会阅读并遵循robots.txt中的说明。

如果您的机器人没有遵循这些指示也遇到问题，您将需要编写一些逻辑来阻止机器人，或者至少减少它们的影响。例如，您可以记录您在特定时间范围内从IP地址获得的票数，并阻止高于该级别的投票。另一个解决方案可能只允许发布帖子，并且还有一些JS逻辑（或类似的）来阻止垃圾邮件机器人，但这比robots.txt要多得多，所以如果它成为一个问题，只需要花时间。

您还可以通过在Web服务器中阻止其IP来完全阻止行为不良的僵尸程序。如果您更喜欢块解决方案，那么您可以尝试一些不良行为的机器人列表。