我想禁止/questions/{ID}/foo
但不允许/questions/{ID}
。
语法Disallow: /questions/*/foo
?
答案 0 :(得分:1)
开始寻找正确语法的好地方应该是here:
另请注意,在User-agent或Disallow行中支持globbing和正则表达式 。 User-agent字段中的'*'是一个特殊值,意思是“任何机器人”。具体而言,您不能拥有
"User-agent: *bot*"
,"Disallow: /tmp/*"
或"Disallow: *.gif"
等行。