Robots.txt禁止方法

Question

我一直在经历不同的论坛，并想知道这是否正确。我正在尝试禁止机器人仅在特定子页面中抓取查询（例如www.website.com/subpage/?query=sample）。我试图确保/ subpage /也不会被禁止。如果我错了，请纠正我。

档案：robots.txt

User-agent: *
Disallow: /subpage/*?

Answer 1

根据我所看到的here，你非常接近

User-agent: *
Disallow: /subpage/*?*
Allow: /subpage$

您可以使用相应的add-on或extension，在舒适的浏览器中对此进行测试。

Answer 2

我认为您不能在Disallow中指定查询字符串。您为Disallow设置的值在文档中引用为Directory（而不是URI或URL）。

然而，您可以使用Sitemap.xml来实现目标。您可以从站点地图中排除不希望编入索引的URL。

Google Webmaster tools还对如何解释查询字符串参数进行了一些精细控制。不确定这是否符合您的目的