robot.txt是否适用于子域？
假设我有一个测试文件夹（test.domain.com），我不希望搜索引擎在其中抓取，我是否需要在测试文件夹中安装robot.txt，或者我可以放置一个机器人。根目录中的txt然后只是禁止测试文件夹？
谢谢！
答案 0 :(得分：6)
每个子域通常被视为一个单独的站点，需要自己的robots.txt文件
答案 1 :(得分：1)
当抓取工具抓取test.domain.com/robots.txt时，它将会看到robots.txt文件。 不会看到任何其他robots.txt文件。
答案 2 :(得分：1)
如果您的测试文件夹配置为虚拟主机，则还需要测试文件夹中的robots.txt。 （这是最常见的用法）。
但是，如果您通过.htaccess文件从子域名移动网络流量，则可以将其修改为始终使用主域根目录中的robots.txt。
无论如何 - 根据我的经验，最好是安全而不是抱歉，并且在您需要保护的所有域中放置（特别是拒绝访问）文件robots.txt。并在访问时仔细检查您是否收到了正确的文件：
http://yourrootdomain.com/robots.txt
http://subdomain.yourrootdomain.com/robots.txt