Question

自5月底以来，我在网站站长工具/ Google搜索控制台的智能手机抓取错误页面中出现了很多新的404错误。所有这些都以/ m /或/ mobile /开头，其中没有一个存在，也没有链接到网站上的任何地方。

例如，http://www.example.com/mobile/foo-bar/和http://www.example.com/m/foo-bar页面有404错误。根据Search Console，这些页面在现有页面http://www.example.com/foo-bar/中链接，但它们不是。

Googlebot是否自行决定寻找每个网页的移动版本？我可以禁用此行为吗？这是因为我的网站还不适合移动设备（我收到了Google的另一条警告信息）。

Answer 1

正如@Jonny 5在评论中提到的那样，这似乎是因为Google猜测您可能在/m和/或/mobile目录中拥有您网站的移动版本。根据我的阅读，他们只会尝试这些目录，如果他们认为他们最初索引的页面不是移动友好/响应。有关此行为的更多信息，请参阅这些Google产品论坛主题：

另一个有用的评论来自@ user29671，他指出您的网站实际上有一些索引为/m和/mobile的网址。我发现我的网站也是如此，因此这种行为也可能仅限于Google（无论出于何种原因）为/m和/或/mobile网址编制索引的网站。要测试您的网站是否属实，请转到以下网址，并将example.com替换为您网站的网址：

就防止这种情况而言，最好的办法是创建一个适合移动设备的网站版本，或者将/m和/mobile页面重定向回原始版本。

Answer 2

您可以在robots.txt中阻止这些目录，但这有点像变通方法。更好的选择是确定Googlebot从哪个网站获取这些网址。

如果您分享了一个示例网页网址，其中Google表示您拥有指向/移动网页的链接，我可以查看该网址，并找出被接收的位置。

不，谷歌并不只是发明目录来抓取您可能随机偷偷进入移动页面的机会：）

Answer 3

自2016年12月以来，我遇到了同样的问题.Googlebot一直在尝试使用/ m /和/ mobile /前缀抓取我的网站页面。

所有这些网址都会导致404错误，并在Google网站站长工具中列为错误。

自动电子邮件于2017年1月2日收到GWT的声明

Googlebot for smartphones发现http://example.com上返回404（未找到）错误的网址数量显着增加。如果您的桌面网站上存在这些页面，那么为移动用户显示错误可能会带来糟糕的用户体验。此配置错误还可能会阻止Google在移动搜索结果中显示正确的页面。如果这些URL不存在，则无需采取任何措施。

这是由移动抓取工具完成的：

* Ip：66.249.65.124

代理：Mozilla / 5.0（Linux; Android 6.0.1; Nexus 5X Build / MMB29P）AppleWebKit / 537.36（KHTML，与Gecko一样）Chrome / 41.0.2272.96 Mobile Safari / 537.36（兼容; Googlebot / 2.1）

浏览器：Mozilla / 5.0（Linux; Android 6.0.1; Nexus 5X Build / MMB29P）AppleWebKit / 537.36（KHTML，与Gecko一样）Chrome / 41.0.2272.96 Mobile Safari / 537.36（兼容; Googlebot / 2.1）*

因此，你并不孤单。别紧张。这是谷歌的错误：）

Answer 4

至于将/m和/mobile页面重定向回原件，这里是nginx的代码段：

location /m/ {
     rewrite ^/[^/]+(/.*)$ $1 permanent;
}

location /mobile/ {
    rewrite ^/[^/]+(/.*)$ $1 permanent;
}

还可以将所有内容重定向到根目录：

location /m/ {
    return 301 $scheme://$host/;
}

location /mobile/ {
    return 301 $scheme://$host/;
}

为什么Googlebot会抓取未在任何地方引用的/ mobile / 和/ m / 页面？

4 个答案:

为什么Googlebot会抓取未在任何地方引用的/ mobile / *和/ m / *页面？

4 个答案:

为什么Googlebot会抓取未在任何地方引用的/ mobile / 和/ m / 页面？