阻止搜索引擎索引本地搜索结果但不搜索搜索页面

时间:2018-01-19 05:47:32

标签: robots.txt bingbot

Bingbot不断索引搜索引擎结果页面,所以我想:

  • 允许搜索引擎访问所有内容。
  • 允许搜索引擎将search/网址编入索引。
  • 仅禁止搜索查询(搜索/?q =示例),而不会阻止搜索/ 网址。

与我的三个既定目标相关的以下代码是否存在冲突?

User-Agent: *
Allow: /
Disallow: /search/?

1 个答案:

答案 0 :(得分:0)

使用搜索页面的网址在搜索页面上设置规范链接。然后给谷歌一些时间来清理乱七八糟的东西(如果有很多页面或访问量很少的页面可以覆盖它们,最多可以使用6个月)。所有带有查询参数的索引页面都将在搜索页面下重新分组,并逐渐从排名中删除。