我在a.com有一个网站（例如）。我还有一些其他域名，我没有使用任何东西：b.com和c.com。他们目前转发到a.com。我注意到Google正在使用b.com/stuff和c.com/stuff从我的网站索引内容，而不仅仅是a.com/stuff。告诉Google只通过a.com索引内容的正确方法是什么，而不是b.com和c.com？
似乎通过htaccess进行301重定向是最佳解决方案，但我不知道该怎么做。只有一个htaccess文件（每个域都没有自己的htaccess文件）。
b.com和c.com并不是a.com的别名，它们只是我为未来可能的项目保留的其他域名。
答案 0 :(得分：6)
robots.txt是告诉蜘蛛抓取什么以及不抓取什么的方法。如果您将以下内容放在网站的根目录/robots.txt中：
User-agent: *
Disallow: /
表现良好的蜘蛛不会搜索您网站的任何部分。大多数大型网站都有robots.txt，例如google
User-agent: *
Disallow: /search
Disallow: /groups
Disallow: /images
Disallow: /news
#and so on ...
答案 1 :(得分：3)
您只需使用.htaccess文件创建一个重定向，如下所示：
RewriteEngine on
RewriteCond %{HTTP_HOST} \.b\.com$ [OR]
RewriteCond %{HTTP_HOST} \.c\.com$
RewriteRule ^(.*)$ http://a.com/$1 [R=301,L]
答案 2 :(得分：0)
这很大程度上取决于你想要达到的目标。 301会说内容被永久移动（这是转移PR的正确方式），这是你想要实现的吗？
您希望Google表现出来吗？比你可能使用robots.txt，但请记住有一个缺点：这个文件可以从外面读取，每次都位于同一个地方，所以你基本上放弃了你可能想要保护的目录和文件的位置。因此，只有在没有值得保护的情况下才使用robots.txt。
如果有值得保护的东西，你应该密码保护目录，这将是正确的方法。 Google不会为受密码保护的目录编制索引。
http://support.google.com/webmasters/bin/answer.py?hl=en&answer=93708
对于最后一个方法，它取决于您是否要使用httpd.conf文件或.htaccess。最好的方法是使用httpd.conf，即使.htaccess看起来更容易。
答案 3 :(得分：0)
让服务器端代码生成一个规范引用，指向要被视为“源”的页面。示例=
参考： http://googlewebmastercentral.blogspot.com/2009/02/specify-your-canonical.html - 更新：此链接标记目前也得到Ask.com，Microsoft Live Search和Yahoo！。
的支持