即使使用htaccess重定向，googlebot索引我的index.php吗？

Question

在我的htaccess文件中使用重定向语句，在地址栏中键入以下内容的人...

http://example.com/index.php

...被重定向到......

http://example.com/

我的所有网站页面上都有一个noindex，nofollow元标记。

我的问题是，鉴于重定向行为和元数据，如果我的robots.txt文件如下，则googlebot会将我的主页（即index.php）编入索引...

User-agent: Googlebot
Allow: /index.php
Disallow: /

User-agent: *
Disallow: /

如果没有，我应该如何更改我的robots.txt，以便只有我的主页才能在google中编入索引而已？

提前致谢！

Answer 1

风险很大。为了确保Google确实为您的主页编制索引，请执行以下操作：

User-agent: *
Allow: /index.php
Disallow: /a
Disallow: /b
...
Disallow: /z
Disallow: /0
...
Disallow: /9

所以你的根“/”将不符合禁止规则。

此外，如果您有AdSense，请不要忘记添加

User-agent: Mediapartners-Google
Allow: /