在robots.txt中,Disallow:/?s阻止什么?

时间:2010-09-06 03:13:47

标签: search-engine web-crawler robots.txt

当搜索引擎抓取网站时,此行阻止了什么?

禁止:/?s

1 个答案:

答案 0 :(得分:1)

它会阻止机器人抓取他们在其查询字符串中包含s时偶然发现的任何网址(在根目录(?)中)。