googlebot抓取webservice

Question

是否有某种方法可以让googlebot不抓取用于网络服务的链接？当我尝试在url上访问我的webservice时，如果没有传递参数，则返回500错误。 或者当我尝试在没有参数的url中访问我的webservice时，还有一些方法可以防止出现http 500错误吗？

感谢。

Answer 1

您可以查看here来创建robots.txt。