我在Expression Web上创建了一个网站,在网站上我创建了一个子文件夹,我的博客是在Wordpress中创建的。我不确定在使用Google抓取我的网站时是否有两个不同的平台会产生问题。
我有两个.htaccess文件: 根目录中的一个是:
XBitHack on
AddHandler server-parsed .htm
rewriteengine on
rewritecond %{HTTP_HOST} ^mysite.com$
rewriterule ^(.*)$ "http\:\/\/www\.mysite\.com\/$1" [R=301,L] #4d73215aa0571
# -FrontPage-
IndexIgnore .htaccess */.??* *~ *# */HEADER* */README* */_vti*
<Limit GET POST>
order deny,allow
deny from all
allow from all
</Limit>
<Limit PUT DELETE>
order deny,allow
deny from all
</Limit>
AuthName www.mysite.com
AuthUserFile /var/chroot/home/content/i/r/m/irmarie/html/_vti_pvt/service.pwd
AuthGroupFile /var/chroot/home/content/i/r/m/irmarie/html/_vti_pvt/service.grp
Options +FollowSymLinks
rewritecond %{HTTP_HOST} ^mysite\.com$ [NC]
rewriterule ^(.*)$ http://www.mysite.com/$1 [R=301,L]
我的wordpress博客子文件夹中的一个.htaccess文件。 这是:
# BEGIN WordPress
<IfModule mod_rewrite.c>
RewriteEngine On
RewriteBase /blog/
RewriteRule ^index\.php$ - [L]
RewriteCond %{REQUEST_FILENAME} !-f
RewriteCond %{REQUEST_FILENAME} !-d
RewriteRule . /blog/index.php [L]
</IfModule>
# END WordPress
在我的网站中,我有很多子文件夹,例如:
在查看我的Google抓取统计信息时,Google似乎正在循环并创建如下所示的网页: 根/ folder_a / folder_b / folder_c / folder_d.htm 并在最后添加一个htm扩展名并显示为404页面。
这在一个永无止境的循环中继续,因此googlebot停止抓取我的网站的其余部分。
如果有人能帮助我解决这个问题,我将不胜感激。
谢谢