如何防止搜索引擎为特定域索引目录？

Question

我有一个网络托管包，其中有2个域指向它。我在Google上注意到它已经为其他域的其中一个域编制了索引。有没有办法防止这种情况发生。

Answer 1

您可以尝试使用Robots exclusion standard，但不能保证。

Answer 2

将您的某个域的所有页面重定向到另一个域。您可以使用类似于此的.htaccess和modRewrite执行此操作：

RewriteEngine On
RewriteCond %{HTTP_HOST} ^example\.com$ [NC]
RewriteRule ^(.*)$ http://www.example.com/$1 [R=301,L]

这将执行从example.com到www.example.com的301重定向（永久移动）。

出于搜索引擎优化的目的，您永远不希望有重复的内容（不同网址上的相同网页），您的内容应始终只有一个网址，所有其他可能的网址都应重定向到该网址。

Answer 3

更新你的robots.txt肯定会在将来解决这个问题，但我认为你应该问的问题是，Google是如何知道这些网页存在的？

首先，您应确保用户无法遍历您网站的文件系统（如果您的服务器是* nix，.htaccess应该具有Options -Indexes之类的内容）。如果你在任何地方都有一个公共链接加入了一个域的两个网站，那可能就是谷歌发现它的方式。如果您小心保持站点清洁并且从不指向其他docroot中的文件，那么将一个域托管在另一个域的子目录中应该没有问题。

您可以使用Webmaster Tools清除这些网页的Google索引。为了将自己标识为网站的所有者，您需要在各种文档根目录的根目录中安装一个唯一的文件（他们为您创建），然后您可以手动更新您网站的部分内容。索引。这仅适用于 到Google。

如果您已被其他搜索引擎编入索引（并且您可能已经将Google编入索引），您应该尝试弄清楚他们是如何到达那里的，解决问题，将第二个网站移到另一个文件夹（导致要在您的主域上报告404 Page Not Found的页面，然后让搜索引擎重新编制索引。

Answer 4

如果您使用的是Linux，那么.htaccess文件的一些附加内容可能会有效，但具体情况取决于您的网站设置。