我安装了Magento，我想从Google抓取中排除隐私政策-cookie-restriction-mode页面。 在我的robots.txt中，我设置了以下代码：
Disallow: /enable-cookies/
Disallow: /customer-service/
Disallow: /privacy-policy-cookie-restriction-mode/
当我用SemRush分析我的网站时，我得到了这个页面的重复内容，并且禁止istruction似乎不起作用。
有什么建议吗？
答案 0 :(得分：0)
请查看此Google帮助页面：
https://support.google.com/webmasters/answer/66359?hl=en
Google不建议阻止抓取工具访问重复内容 在您的网站上，无论是使用robots.txt文件还是其他方法。如果 搜索引擎无法抓取包含重复内容的网页，但他们无法抓取 自动检测这些URL指向相同的内容和 因此，将有效地将它们视为独立的，独特的 页。