假设我有一个动态页面，可以根据用户输入创建URL's。
例如：www.XXXXXXX.com/browse＆lt; --------（浏览为页面）
每次用户输入一些查询时，它都会生成更多页面。
例如：www.XXXXXXX.com/browse/abcd＆lt; --------（abcd是新页面）
现在，我希望Google抓取这个“浏览”页面而不是子页面 由它生成的页面。
我正在考虑将此添加到我的robots.txt页面; “禁止：/ browse /”
这是正确的做法吗？还是会阻止 Googlebot是否可以抓取“浏览”页面？我该怎么做才能得到 最佳结果？
答案 0 :(得分：4)
网址不以斜杠结尾：
www.XXXXXXX.com/browse
因此，此代码应该有效：
User-agent: *
Disallow: /browse/