Googlebot一直试图在我的网站上调用ajax方法。 例如：default.aspx / GetStuffWithAjax
问题是google要调用这个方法是不可能的，因为如果查询字符串在调用它之前有查询字符串id = xxxx，我就用javascript检查。谷歌可以遵循的这个查询字符串没有任何链接。
机器人有可能在我的html代码中扫描PageMethods.GetStuffWithAjax然后只是尝试调用ajax方法吗？我怎么能阻止这个......任何人？
答案 0 :(得分：4)
将Disallow: /GetStuffWithAjax作为一行放在您网域根目录的robots.txt文件中。
答案 1 :(得分：1)
您可以使用robots.txt告诉Google（以及其他优秀机器人）不要去那里。点击这里：