我们有一个Umbraco网站，它有几个子域名，我们想要排除其中一个在搜索引擎中被抓取。 我试图更改我的Robots.txt文件，但似乎我做得不对。
子域名：http://sub1.mywebsite.co.dl/
我的Robots.txt内容如下：
User-agent: *
Disallow: sub1.*
我错过了什么？
答案 0 :(得分：2)
以下代码将阻止http://sub1.mywebsite.co.dl。从被索引：
User-agent: *
Disallow: /sub1/
您还可以使用以下代码在sub1文件夹中添加另一个robots.txt文件：
User-agent: *
Disallow: /
这也应该有所帮助。
答案 1 :(得分：0)
如果您想屏蔽http://sub1.mywebsite.co.dl/上的任何内容，可以http://sub1.mywebsite.co.dl/robots.txt访问您的robots.txt MUST。
此robots.txt将阻止所有支持机器人的所有网址：
User-agent: *
Disallow: /