我有一个带有下拉列表的ASP.NET MVC网站，当用户在第一个下拉列表中选择一个选项时，其他下拉列表将使用AJAX调用填充。根据日志，爬虫尝试正常访问这些AJAX方法，因此我的应用程序记录错误。我使这些AJAX方法不可抓取，这意味着当请求不是AJAX调用时我返回404。这是最好的方法吗？ 另一方面，我有一个包含多个步骤的页面，这意味着用户填写表单然后转到第二步。每次用户填写表单时，我都会执行POST AJAX请求并保存输入数据。我应该如何处理这种情况？
答案 0 :(得分：0)
将您不想抓取的网址添加到robots.txt。
如果您在GET表单中提供链接，则会尝试抓取该抓取工具。返回404在技术上并不正确 - 它可以阻止抓取工具索引页面！
考虑返回500 Internal Server Error或501 Not Implemented。