如何在网站上为不同的蜘蛛设置不同的语言？

Question

我有多语言网站。实际上，网站语言是根据网络浏览器语言选择的。

有没有办法根据搜索引擎蜘蛛设置语言？例如：

• 显示百度搜索引擎蜘蛛的中文网站

• 以Yandex蜘蛛的俄文显示网站？

Answer 1

这称为crawler identification。在向您的网站发出请求时，User-Agent field包含有关浏览器或抓取工具的信息。

根据抓取工具，此字段的值将有所不同。然后，您可以使用不同的语言关联不同的值。您还可以查看large list of user agents。

---

我仍然非常确定通过这样做，你会降低你在搜索引擎中的排名，因为你提供的抓取器响应不同于真实用户，但我没有可靠的引用支持这一陈述。

在所有情况下，抓取工具都需要收集不同语言的资源，并且这些抓取工具知道如何处理多语言网站，除了可能会尝试遵循每个最糟糕的做法的人。此外，您引用的搜索引擎不仅限于一种语言。 Yandex可以在Turkish中找到。至于百度，According to Wikipedia，它服务于中国，日本，泰国，埃及和印度。