我正在与一个电子商务系统合作，目前正在抛出数百个潜在的重复页面网址，并试图通过robots.txt找出如何隐藏它们，直到开发人员能够在那里排序...... ......出去。
我设法阻止其中的大多数，但卡在最后一种类型上，所以问题是： 我有4个网址到同一产品页面，结构如下，如何阻止第一个而不是其他产品。
www.example.com/ProductPage www.example.com/category/ProductPage www.example.com/category/subcategory/ProductPage www.example.com/category/subcategory/ProductPage/assessorypage 到目前为止，我能提出的唯一想法是使用：
Disallow: /*?id=*/
编辑：我相信我可能已经找到了一种方法来设置robots.txt文件以禁止所有，然后只允许我想要的特定路径再次下面然后...再次禁止任何特定路径之后。
任何人都知道这是否会对使用disallow＆gt;的SEO产生负面影响允许＆gt;禁止。
答案 0 :(得分：2)
您可以为rel =“canonical”属性设置元标记。这将有助于搜索引擎知道哪个网址是“正确的”，并且搜索结果中每个产品的网址不超过一个。
阅读here了解更多信息