谷歌正在Google上扫描我的网站,包括我不希望它扫描的查询字符串。 例如:他们是一个页面 - “/ name.html”,在URL中它有一个查询字符串 - “/name.html?qs=1”。我不希望Google在其索引中包含“?qs = 1”,因为此查询字符串不是必需的,并且在Google上搜索我的网站时会产生大量重复和垃圾。
如何禁用Google为此查询字符串编制索引并删除已编入索引的网页?
答案 0 :(得分:3)
您应该使用robots.txt来执行此操作。
以下是一个例子:
user-agent: *
disallow: /name.html?
这将使用查询字符串阻止对name.html的任何调用,但会将您的name.html编入索引。
还有这个版本:
user-agent: *
disallow: /name.html?qs=
这将阻止对查询字符串中包含参数“qs”的name.html的任何调用,但会将其他任何内容编入索引。
答案 1 :(得分:2)
您必须在网站的根目录中制作robots.txt文件。
User-agent: *
Disallow: qs
# Googlebot allows regex in its syntax
User-Agent: Googlebot
Disallow: /*?qs*