我开发了一个ASP.NET MVC 5网站，该网站使用jQuery和ajax请求来提取和发布数据。 Google的抓取工具在Javascript代码中找到了我的POST操作网址，并尝试将其编入索引。
在网站站长工具中，我看到很多错误，例如/Account/Login，错误响应为500，因为显然没有提供名称和密码。我怎么解决这个问题？我不希望任何抓取错误，但我不知道如何对Google说不要关注这些网址。
谢谢！
答案 0 :(得分：1)
使用Google's instructions创建robots.txt文件，这是对搜索引擎不进行索引的请求。
放入域根目录的示例robots.txt可能如下所示：
User-agent: Googlebot
Disallow: /path/to/my/post/url