Question

我在添加.htaccess文件后遇到了这个网站的问题。 Google bot不会抓取新链接。

这是我的htaccess：

Options +FollowSymlinks
RewriteEngine On

RewriteCond %{HTTP_HOST} !^www.grantsimeonphoto.com$
RewriteRule ^(.*)$ http://www.grantsimeonphoto.com/$1 [R=301]

RewriteRule    ^accueil$     index.php?page=accueil
RewriteRule    ^services$    index.php?page=services
RewriteRule    ^portfolio$   index.php?page=portfolio
RewriteRule    ^contact$     index.php?page=contact
RewriteRule    ^epreuves$    index.php?page=epreuves

如果您在Google上进行搜索，则会看到：

site:grantsimeonphoto.com

here is my robot.txt:
User-agent: *
Allow: /

这是我的sitemap.xml：

<?xml version="1.0" encoding="UTF-8"?>
<urlset
      xmlns="http://www.sitemaps.org/schemas/sitemap/0.9"
      xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
      xsi:schemaLocation="http://www.sitemaps.org/schemas/sitemap/0.9
            http://www.sitemaps.org/schemas/sitemap/0.9/sitemap.xsd">
<!-- created with Free Online Sitemap Generator www.xml-sitemaps.com -->

<url>
  <loc>http://www.grantsimeonphoto.com/</loc>
  <priority>1.00</priority>
</url>
<url>
  <loc>http://www.grantsimeonphoto.com/accueil</loc>
  <priority>0.80</priority>
</url>
<url>
  <loc>http://www.grantsimeonphoto.com/services</loc>
  <priority>0.80</priority>
</url>
<url>
  <loc>http://www.grantsimeonphoto.com/portfolio</loc>
  <priority>0.80</priority>
</url>
<url>
  <loc>http://www.grantsimeonphoto.com/contact</loc>
  <priority>0.80</priority>
</url>
<url>
  <loc>http://www.grantsimeonphoto.com/epreuves</loc>
  <priority>0.80</priority>
</url>
</urlset>

感谢您的帮助

Answer 1

您无需添加许可，通常所有搜索引擎都会在未明确禁止指定网址时抓取您的链接。

Answer 2

您可以尝试通过Google Webmaster Central重新提交您的站点地图。

此外，您的多重写规则应该合并为1，如下所示：

RewriteRule ^(accueil|services|portfolio|contact|epreuves)$ /index.php?page=$1 [L,NC,QSA,NE]

使用符合上述规则的L，QSA和NC标志也很重要。

.htaccess和google抓取错误

2 个答案: