robots.txt禁止Google不遵循特定网址

Question

我已将 robots.txt 包含在我的应用程序的根目录中，以告知Google机器人不遵循此http://www.test.com/example.aspx?id=x&date=10/12/2014网址或具有相同扩展名但查询不同的网址字符串值。为此，我使用了以下代码：

User-agent: *
Disallow: 
Disallow: /example.aspx/

但我在网站管理员工具中发现Google仍然关注此页面，并且已经使用指定的扩展程序查找了许多网址，这是查询字符串产生问题的原因，因为据我所知谷歌不打扰查询字符串，但以防万一。我是否正确使用它或者还需要做其他事情才能完成任务。

Answer 1

你的指示错了：

Disallow: /example.aspx/

这会阻止目标/example.aspx/

中的所有网址

如果要阻止文件/example.aspx的所有网址，请使用以下说明：

Disallow: /example.aspx

您可以使用Google网站站长工具对其进行测试。