标签： .net iis web-crawler robots.txt
我们拥有与其他公司一样的生产和测试环境。我想把一个robots.txt放到UAT根文件夹中，谷歌网络抓取工具不会在uat页面上进行无根据的抓取。
但我发现的是令人惊讶的。我的Uat盒子上的任何地方都没有robots.txt 没有任何Uat网站出现在谷歌搜索中。 Uat不在防火墙之后，因此任何外部计算机都可以看到机器。一些Google搜索没有将我的Uat盒子上的任何网站拉出来。
有什么想法吗？