我有网站
主域名www.domain.com
子域名
我不想抓取并索引所有搜索引擎中的子域名。
答案 0 :(得分：0)
您需要为每个子域创建一个单独的robots.txt文件，该文件将进入这些子域的根目录。
要阻止所有搜索引擎抓取它们，您可以将以下内容添加到每个搜索引擎中......
User-agent: *
Disallow: /
以上示例是*所示的通配符，这意味着它针对所有搜索引擎。
如果您只想定位Googlebot，那么您可以添加以下内容......
User-agent: Googlebot
Disallow: /