如何仅针对特定的一组页面变量拒绝Googlebot？

Question

我有一个https://www.somedomain.com页面，然后在该页面下我可以选择让用户更改语言，例如

https://www.somedomain.com/?change_language=en&random_id=123
https://www.somedomain.com/?change_language=de&random_id=123
https://www.somedomain.com/?change_language=fr&random_id=123

等

是否可以拒绝Googlebot抓取这些链接，但仍然抓取https://www.somedomain.com/主页？

Answer 1

您可以使用robots.txt仅定位查询参数：

User-agent: *
Disallow: /?change_language

这会阻止Google或其他优秀机器人抓取主页上的语言选项。如果您想让所有页面更具通用性：

User-agent: *
Disallow: ?change_language

但是，您可能需要考虑让这些语言更改被抓取，而是使用Google和Bing支持的rel="alternate" hreflang specification。

通过这种方式，您可以向引擎指示内容采用多种语言，从而允许您的网站在Google，Bing和Yahoo的所有不同国家/地区特定版本中编入索引。