Question

我有2个网站：Site1.com和Site2.com。

Site1.com有2页：a.htm和b.htm。 Site2.com有3页：a.htm，b.htm和c.htm。

页面a.htm和b.htm在2个站点重复。

我希望搜索引擎从Site1索引a.htm和b.htm，从Site2索引c.htm。我如何以及在何处指定此偏好？我希望不必在页面级别指定我的偏好（意味着必须编辑每个页面），如果可能的话。

感谢。

Answer 1

你不能直接 - 没有搜索引擎提供那种“填写这种形式”的控制类型。

您有两个选择：

1）使用robots.txt告诉抓取工具不要将网站上的网页编入索引 2）使用301“永久移动”重定向告诉抓取工具去看site2而不是site1。

Answer 2

在每台服务器的根目录上创建一个robots.txt文件，指定应编入索引的页面。

例如，在站点2上：

User-agent: *
Disallow: /a.htm
Disallow: /b.htm