如何防止googlebot抓取Ajaxified链接？

Question

我有一堆ajaxified链接做投票，投票，标记后标准社区审核的东西。

问题是googlebot抓取这些链接，投票，投票，并标记项目。

将这个添加到robots.txt会阻止googlebot抓取这些链接吗？或者还有其他我需要做的事情吗？

User-agent: Googlebot 
Disallow: /item/*/flag/
Disallow: /item/*/vote/

谢谢！

编辑：更改方法发布和googlebot仍然标记帖子。

语法是：

<a href="onclick="$.ajax({data:'authenticity_token=' + encodeURIComponent('blahblahblah'), dataType:'script', type:'post', url:'/item/flag/236?method=post'}); return false;"> 

有什么想法吗？

Answer 1

您应该将这些链接更改为POST而不是GET，然后您不必担心抓取工具。还有其他原因：Web缓存可能决定缓存GET，因此当用户单击链接时实际上不会命中您的服务器。他们不会缓存POST。

Answer 2

除了提供POST请求，因为它们具有变革性，访客用户（未登录的人）不应该有权在社区审核中投票。因此，只需将它们排除在投票之外，即可解决您的机器人问题。