Htaccess / robots.txt允许搜索机器人探索主域而不是其他域上的目录

时间:2010-05-09 14:19:41

标签: .htaccess hosting bots robots.txt

好的,我理解标题没有任何意义所以我在这里试图详细解释它。

我正在使用托管,为我的域提供空间,让我“添加”其他域名。所以,假设我有一个域名A,我在域名B上添加。基本上我的托管给了我一个public_html,我可以把东西显示给有人访问网站A.但是,当我添加域名B时,它让我放那个public_html的B,INSIDE的内容也可以通过访问A.com/siteB访问网站B.com ...这一切都很好,除了谷歌已经开始索引B.com以及A.com/ siteB,我很好,它索引B.com,但我想以某种方式阻止它索引A.com/siteB,以便当人们搜索B时,它不会最终显示A.com/siteB.

有什么想法吗?如果问题仍然不清楚,请告诉我。

1 个答案:

答案 0 :(得分:1)

刚刚放一个

User-agent: *
Disallow: /siteB

在主域根目录中的robots.txt。所有具有礼貌的机器人都会接受这一点,但根据他们访问您网站的频率,您可能需要等待一段时间才能在搜索引擎更新其数据库之前。

此外,您可以将带有重定向规则的.htaccess添加到/ siteB / ...,将使用siteA域完成的请求重定向到http://siteB/ ...这将使每个人都使用{{3}域名即使他们浏览到较不受欢迎的域名。