Bingbot导致404错误

Question

我们最近看到从Bing网络抓取工具中创建了大量404错误。我已经验证了IP实际上是Bing机器，但只是不知道为什么他们正在尝试他们正在尝试的URL。我不想使用robots.txt文件告诉他们根本不抓取我的网站，但同时我不希望他们继续请求不存在的网页。有没有办法告诉Bing从哪里获取特定的URL？我尝试使用[link:www.mywebsite.com/pagename/]搜索Google并没有找到任何结果，这让我相信机器人正在做一些不应该做的事情，而不是我的网站网址不好。