Google自定义搜索不会返回某些网页的结果

时间:2014-08-18 03:06:40

标签: robots.txt google-webmaster-tools google-custom-search web-crawler

同一目录下的某些页面根本不会显示在Google自定义搜索中。这些页面也链接到其他页面。

奇怪的是,如果我登录[网站管理员工具],那些链接

  • 显示在[内部链接]部分
  • 中 如果我在[抓取为Google] 中测试,则
  • 显示“完成”状态
  • 通过[robots.txt Tester]未显示
  • in Crawl Errors

这些页面在“频率”中标记为“每日”,在sitemap.xml中标记为“优先级”中的“1”。这些页面是我正在处理的网站上最重要的部分。但他们根本没有表现出来......

有谁知道我如何测试并找出这种行为的根本原因?

提前致谢!!

1 个答案:

答案 0 :(得分:0)

终于发现我们的官员添加了一条排除所有内容的规则。最初我们认为规则是错误的并且不会匹配任何内容,但我们发现Google自定义搜索会添加一个尾部斜杠,从而匹配规则。 希望我从不发表这个问题