我的情况是我们有两个代码库需要保持不变..
示例:http://example.com
。
新网站http://www.example.com
。
旧网站(没有WWW)支持一些遗留代码并具有以下规则:
User-agent: *
Disallow: /
但是在新版本(使用WWW)中没有robots.txt
。
Google是否将旧的(无WWW)robots.txt
文件作为其规则?并将添加
User-agent: *
Allow: /
到(WWW)方面覆盖了这个?
目前无法在旧代码库中更改robots.txt
。
答案 0 :(得分:2)
不,子域名“www。”子域名“”是单独的子域名,其中一个子域名robots.txt
不会用于另一个子域名。