我有一个电子商务网站。对于T恤页面,我希望搜索引擎索引的唯一网址是
mysite/items/t-shirts/
但页面上有过滤器,因此用户可以按尺寸,颜色,材质等进行过滤。
我考虑过将网址始终显示为
mysite/items/t-shirts/
无论选择哪种过滤器,搜索引擎都不会索引以下页面:
mysite/items/t-shirts/?colour=red
mysite/items/t-shirts/?colour=red&size=xl
mysite/items/t-shirts/?colour=red&size=xl&material=cotton
但这打破了后退按钮。
所以我想保留URL参数,以便可以使用后退按钮,并防止搜索引擎使用参数索引网址,我将把以下内容放入robots.txt文件中:
User-agent: *
# Block crawlers from storing pages with parameters
Disallow: /*/*?
这是最好的方法还是有更好的选择?