搜索引擎如何抓取网站?

时间:2010-02-20 08:32:20

标签: search web-crawler

我正在创建一个多语言网站,我为每种语言使用资源管理器。

当用户选择一种语言时,所有页面都使用所选的资源绑定。

由于整个网站只提供一种语言,搜索引擎如何抓取其他语言? 或搜索引擎是否抓取可选提供的语言?

2 个答案:

答案 0 :(得分:1)

如您所知,当您拥有一个静态多语言网站,每个语言都有单独的页面时,您对搜索引擎没有任何问题。然而,每个页面都有一个唯一的URL。

但是在动态应用程序中,您没有针对每种语言的单独页面,而是必须使用资源,您可以添加新语言或删除现有语言等等。

因此,我们必须使用Url Rewriter / Routing为每种语言生成唯一的URL。请查看以下示例。

假设我们在以下网址中有一个网络表单,我们的应用程序支持两种语言(例如英语美国en-US,英国英国en-GB)。

  

www.domain.com/home.aspx

有一些问题,我们有所有语言的永久网址。因此,搜索引擎无论如何都将索引默认语言。解决方案很简单,您必须使用Url Rewriter / Routing为每种语言生成单独的URL,如下所示。

  

www.domain.com/ {国家} / {语言} /home.aspx

之后,您必须从上面的url推断出指定的文化名称,并设置当前的 Culture UICulture 属性。因此,请求的页面将以所需的语言显示。

站点地图应该以编程方式生成,并使用与上面相同的方式,在这种情况下。

  

www.domain.com/ {国家} / {语言} /sitemap.xml

您必须从上面的url推断出指定的文化,并根据文化生成站点地图。要向搜索引擎引入可用的站点地图,您必须使用应以编程方式生成的 robots.txt

答案 1 :(得分:0)

您可能正在使用Cookie /会话来记住所选语言,对吧? 它们都不会影响搜索引擎。他们只是忽略了cookie。但是,如果您依赖会话变量来记住所选语言,则在没有cookie的情况下,每次创建新会话时都会取消语言选择。

  • Ankit