我们的robots.txt文件仅包含以下内容：
User-Agent: *
Disallow: /
但是，我们经常收到以下错误。不确定为什么Bingbot和Googlebot都在寻找Robots.txt文件夹
IP: 207.46.13.42
HTTP status code: 404
URL: http://www.website.net/robots.txt/
User Agent: Mozilla/5.0 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)
The following error occurred:
The controller for path '/robots.txt/' was not found or does not implement IController.
IP: 66.249.74.48
HTTP status code: 404
URL: http://www.website.net/robots.txt/
User Agent: Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
The following error occurred:
The controller for path '/robots.txt/' was not found or does not implement IController.
我们可以围绕这个编码，但问题是为什么这些主要机器人试图搜索这个文件夹？我们robots.txt文件的目标是防止僵尸程序抓取该网站。从互联网上存在的每个示例中，我们已经正确设置了robots.txt文件来完成此操作，但我们仍然遇到这些机器人试图访问不存在的文件夹，MVC尝试处理它导致异常。