禁用子域的抓取

Question

我想禁用对子域的抓取。

例如： 我的主要域名是maindomain.com
subdomain_one.com（附加域名）
subdomain_two.com（附加域名）

所以我想禁用subdomain_one.maildomain.com的抓取。

我在robot.txt中使用过它：

   User-agent: *
   Disallow: /subdomain_one/
   Disallow: /subdomain_two/

Answer 1

必须将文件称为robots.txt，而不是robot.txt。

如果您要禁止所有机器人抓取您的子域名，您必须在此子域名的文档根目录中放置robots.txt文件，其中包含以下内容：

User-agent: *
Disallow: /

每个主机都需要自己的robots.txt。您无法在robots.txt中指定子域名，只能beginnings of URL paths。

因此，如果您要屏蔽http://sub.example.com/上的所有文件，则必须可以从http://sub.example.com/robots.txt访问robots.txt。

doesn’t matter如何在服务器端组织您的网站，只关注公众可访问的内容。