sitemap.xml中的Web爬网程序和非ASCII字符

时间:2010-08-04 11:54:50

标签: seo web-crawler

我们的某个网站在网址中包含非ASCII(非英语)字符:

http://example.com/kb/начало-работы/оплата

我想知道网络抓取工具(特别是Googlebot)如何处理这些情况?这些URL是否必须编码或以其他方式处理?

1 个答案:

答案 0 :(得分:1)

我认为这是最好的网址编码。这是标准。