Question

此代码是否适用于crawl分页，以告知搜索引擎不使用?page=1索引网址，但索引该网页的主要内容。

但我不想将用户重定向到另一个页面。仅适用于crawl。

例如

不要索引myweb.org/?page=2，而是索引为myweb.org/

不要索引myweb.org/category/?page=2，而是索引为myweb.org/category/

不要索引myweb.org/12331/namepost/?page=2，而是索引为myweb.org/12331/namepost/

我的抓取代码

RewriteRule ^(.*)/?page=(.*) /$1 [R=301,L]和

RewriteRule ^(.*)?page=(.*) /$1 [R=301,L]没有slash。

这里是我的全部.htaccess。

        <IfModule mod_rewrite.c>
        RewriteEngine On
        RewriteBase /

            RewriteCond %{HTTP_HOST} !^www\. [NC]
            RewriteRule ^(.*)$ http://www.%{HTTP_HOST}/$1 [R=301,L]
            RewriteRule ^([A-Za-z]+)/([0-9]+)/([\w-]+)/?$    view.php?cat=$1&idp=$2&post=$3&%{QUERY_STRING}   [NC,L]
             RewriteRule ^category/([\w-]+)/?$ category.php?cat=$1&%{QUERY_STRING}   [NC,L]

    RewriteRule ^(.*)/?page=(.*) /$1 [R=301,L]
RewriteRule ^(.*)?page=(.*) /$1 [R=301,L]

            # To externally redirect /dir/abc.php to /dir/abc
        RewriteCond %{THE_REQUEST} ^[A-Z]{3,}\s/+(.+?)\.php[\s?] [NC]
        RewriteRule ^ /%1 [R=301,L,NE]

        RewriteCond %{REQUEST_FILENAME} !-d
        RewriteCond %{REQUEST_FILENAME}.php -f
            RewriteRule ^(.+?)/?$ $1.php [QSA,NC,L]


    </IfModule>

    ErrorDocument 404 http://www.piratefiles.org/404.php
    Options -Indexes

使用.htaccess重定向301以进行爬网

0 个答案: