Question

我有一个应用程序，其内容不应公开编入索引。因此，我禁止访问所有抓取工具。

的robots.txt：

# Robots shouldn't index a private app.
User-agent: *
Disallow: /

但是，Bing一直忽略这一点，并且每天都会请求/trafficbasedsspsitemap.xml文件，我无需创建该文件。

我也无需每天收到此文件的404错误通知。我想让bingbot消失，所以我需要做些什么来禁止它提出请求呢？

Answer 1

根据this answer，这是Bingbot检查由Bing Sitemap插件为IIS和Apache生成的XML站点地图。它显然不能被robots.txt阻止。

Answer 2

对于那些来自谷歌的人 -

您可以通过apache用户代理检测/重写指令阻止机器人，这将允许您完全保留bingbot。 https://superuser.com/questions/330671/wildcard-blocking-of-bots-in-apache

等