Google Crawler无法使用空白抓取网址

时间:2016-06-05 11:53:33

标签: web-crawler http-status-code-404 google-webmaster-tools googlebot

Google Search Console报告带有空格的网址作为响应,回复为404。它告诉来自站点地图的此类不完整URL的来源。但是检查了站点地图后,这些网址中唯一常见的事情就是GoogleBot通过忽略空格后的部分来解析网址。

例如

站点地图中的实际网址:

/ hospital-search / Ahmedab​​ad / Vascular Surgeon / true_ / doc_ / 1

报告的网址返回404:

/医院搜索/艾哈默德巴德/血管

2 个答案:

答案 0 :(得分:0)

建议用短划线替换空格,Google将短划线视为文本中的空格,另外还取决于您的平台/框架,例如在PHP中mywebsite.com/About-Us与mywebsite.com不同/ about-us(带大写字母和小写字母)。

尝试使用两种情况(上方和下方)测试您的链接,看看服务器将返回给您的是什么,我想您将获得404也可以谷歌获取。

很容易解决这个问题,通过将空格替换为破折号来更改您的网址,并将所有单词统一为小写,然后使用301重定向将所有旧链接重定向到新链接并更新您的XML站点地图。

答案 1 :(得分:0)

Google Crawler无法抓取您的网址的原因是您未在网站地图中按+对空格进行编码。

如果您仍想使用空格 - 但不建议使用@Nadeem Haddadeen说 - 您应该只在站点地图中用+替换空格。 喜欢:/hospital-search/Ahmedabad/Vascular+Surgeon/true_/doc_/1

还建议使用所有小型大写字母。