考虑一个必须通过以下格式支持旧版网址的网站:
http://example.com/?some_param=value --> http://example.com/value
虽然根页面功能齐全,但从不重定向。
所以基本上,根据查询参数重定向到内部页面。如果参数丢失,请求将被视为标准一次,而不是重定向。
仅基于查询字符串永久重定向(HTTP 301)是否可以接受?抓取机器人是否正确区分了两种情况?
答案 0 :(得分:2)
如果请求返回HTTP 301响应,则“crawl bot”应递归爬行,直到其中任何一个,它识别出可能的无限循环或接收到非重定向响应。
特别是搜索引擎通常只在请求HTTP 301时存储返回HTTP 20x的内容的响应。
话虽如此,根据实施情况,爬行行为显然会有所不同。