sitemap.xml中的Web爬网程序和非ASCII字符

Question

我们的某个网站在网址中包含非ASCII（非英语）字符：

http://example.com/kb/начало-работы/оплата

我想知道网络抓取工具（特别是Googlebot）如何处理这些情况？这些URL是否必须编码或以其他方式处理？

Answer 1

我认为这是最好的网址编码。这是标准。