我已将网站的Sitemap文件提交给中文BAIDU。
我的Sitemap包含:
1)使用gzip压缩的16个站点地图文件,每个文件少于10Mb并包含少于50K的URL。
2)站点地图索引以及指向上述站点地图gzip压缩文件的链接。
我看到百度非常奇怪的行为 - 它将我的一些站点地图文件标记为失败抓取(抓取失败),而其他人似乎已处理(正常 - 正常)。 /> 当我重新提交同一套Sitemaps时,其他文件会随机变为Failed Crawl,而之前的失败可能会被处理。
除了百度消息“失败的抓取”(抓取失败)我无法找到我的站点地图有什么问题。
我变得疯狂,因为百度很随机地标记文件“失败的抓取”。
谁可以提出错误建议?
或者在哪里可以看到来自百度的确切错误消息为什么“失败的抓取”?
最后,在尝试之后,百度也将站点地图索引文件标记为“失败爬网”(但是在提交后它总是先处于“等待”状态,然后“正常”正常爬行)
注意:Google,Yahoo / Bing,Yandex处理的文件相同!
屏幕截图请见:https://drive.google.com/open?id=0BzDlz6j9c35WWkdwb3F6LW9zazA
答案 0 :(得分:0)
此错误在Bing / Baidu / Yendex中最常见。这是由HTTPS请求引起的。尝试为站点地图强制HTTP并再次提交。