Robots.txt和秘密网址？xx = xx

Question

我有一个与?id=123，?id=567或example.com/123不同的秘密网址，除了我的主页，我需要阻止所有这些网址，但我遇到Disallow: /*的问题：它只适用于Google。

我的第一个robots.txt（由Google屏蔽）

User-Agent: * 
Allow: /
Disallow: /$

实际上我已将example.com/123替换为example.com/?id=123，因为$无效，我使用

User-Agent: * 
Allow: /
Disallow: /?id=

我添加了meta - robots

$robotIndex = "index,nofollow";
if(!empty($_GET)) {
    $robotIndex = "noindex,nofollow";
}

这是对的吗？禁止除主页之外的所有页面的语法是什么？

Answer 1

最近，Google在网站站长工具（抓取部分）中提供了robots.txt测试工具。您可以添加规则并针对它测试URL。这样您就可以测试配置是否正常工作。

此外，在“抓取”部分下，您还有“网址参数”选项。您可以设置URL中的参数如何以及是否更改页面内容以及是否应将这些URL编入索引。