Question

您知道是否有可能强行机器人在www.domaine.com而不是domaine.com上爬行？就我而言，我有一个网络应用程序已启用带有prerender.io的缓存网址（查看HTML代码），但仅限于www。

因此，当机器人在domaine.com上抓取时，它没有数据。

Nginx上的重定向是自动的（domaine.com＆gt; http://www.domaine.com），但没有结果。

我说我的站点地图，网址都是www。

我的Nginx重定向：

server {
  listen                *:80;

  server_name           stephane-richin.fr;

  location / {

    if ($http_host ~ "^([^\.]+)\.([^\.]+)$"){
      rewrite ^/(.*) http://www.stephane-richin.fr/$1 redirect;
    }

  }
}

你有什么想法吗？

谢谢！

Answer 1

你有一个带

的robots.txt文件吗？

User-agent: *
Disallow: /

在domaine.com上，另一个用

User-agent: *
Disallow:

在www.domaine.com上？

Answer 2

如果您在一周前提交了一个包含正确网址的站点地图，那么谷歌一直要求提供旧网址似乎很奇怪。

无论如何 - 您将非www中的错误状态代码发送到www重定向。你发送了302但应该发送301. Philippe在this answer中解释了差异：

状态301表示资源（页面）永久移动到新位置。客户端/浏览器不应尝试请求原始位置，而是从现在开始使用新位置。

状态302表示资源暂时位于其他位置，客户端/浏览器应继续请求原始网址。

我有一个302重定向指向www。但Googlebot一直在抓取非www网址

2 个答案: