阻止某些地址被Crawled Robots.txt阻止

时间:2015-11-03 11:51:55

标签: indexing seo robots.txt search-engine-bots

我已经被要求(为了改善搜索引擎优化结果)从Robots.txt中删除某个网址。

我挣扎(SEO不是我的强项)弄清楚如何阻止某个域名,即使两个地址都指向同一个网站。

例如:

http://foo.example.com - 网址我需要停止索引 http://www.examplefoo.com - 网址我希望被编入索引

从我所知道的,使用disallow /只会阻止两者(因为它们是同一个站点)

任何帮助?!对不起,如果这是一个愚蠢的问题..

1 个答案:

答案 0 :(得分:1)

第1步: 如果您的第一个域名为up,则应将其重定向到您的第二个域。

示例(宽度htaccess):

RewriteCond %{HTTP_HOST} ^www.xxx.ir$ [NC,OR]

RewriteCond %{HTTP_HOST} ^xxx.ir$ [NC,OR]

RewriteCond %{HTTP_HOST} ^yyy.com$ [NC]

RewriteRule ^(.*)$ http://www.yyy.com/$1 [R=301,L]

第2步: 您应该通过删除网站管理员工具(全部目录)中的网址来删除所有网址(来自第一个网址)

祝你好运