尽管符合sitemaps.org protocols re:encoding,我仍然会从网页抓取工具中收到错误。
其中一个是YandexBot(http://yandex.com/bots)。
正确的网址是:http://example.com/events/2012/5/4/bananas'-fault
sitemap.xml编码的网址为http://example.com/events/2012/5/4/bananas'-fault
YandexBot实际上尝试在URL中使用'
。如果我不将'
编码为'
,则BingBot会截断该网址。
我有什么选择?
答案 0 :(得分:0)
联系Yandex(和其他有问题的抓取工具),让他们知道他们应该遵守协议。问题是他们一边解决......