Question

我在Ubuntu服务器12.04上运行Nginx 1.1.19而我在使用Googlebot时遇到问题，请参阅robots.txt文件。我使用了例子this post，但我没有成功。要测试该服务，我访问网站站长工具，点击“完整性＆gt;搜索为Googlebot”...只是我收到的信息来自“未找到”，“页面不可用”和“robots.txt文件不是可以访问“....

我还要确认配置是应该在文件nginx.conf上执行还是在/etc/nginx/sites-enabled中执行文件“default”，因为在以后的版本中，我注意到可能会有所不同。这是我的基本设置。

root /usr/share/nginx/www;
index index.php;

# Reescreve as URLs.
location / {
    try_files $uri $uri/ /index.php;
}

Answer 1

我设法通过添加命令“重写”策略服务器来解决我的问题，如下面的代码所示。之后，我回到谷歌网站管理员，使用Googlebot重新编写搜索，并且工作正常。借此机会离开这里，我的代码执行重定向端口80到443前缀和非www到www。

# Redirect HTTP to HTTPS and NON-WWW to WWW
server {
    listen 80;
    server_name domain.com.br;
    rewrite ^ https://www.domain.com.br$1 permanent;

# Rewrite the URLs.
    location / {
    try_files $uri $uri/ /index.php;
    }
}
server {
    listen 443;
    server_name www.domain.com.br;

# Rewrite the URLs.
    location / {
    try_files $uri $uri/ /index.php;
}

    root /usr/share/nginx/www;
    index index.php;

    [...] the code continued here

Answer 2

查看我的回答here。

关于将其添加到主nginx.conf文件或/etc/nginx/sites-available文件，这取决于您，无论您希望它分别是全局还是特定于站点。

Nginx阻止robots.txt文件

2 个答案: