我正在尝试在我的robots.txt中允许/category。在/category /subpages下，我想在/category之后禁止任何内容。
我已经尝试在robots.txt中禁用/category/subpage1和/category/subpage2，但由于子页面正在增长，我不想一次又一次地编辑robots.txt。有办法做到这一点吗？就像向/*添加/category左右？
答案 0 :(得分：0)
Disallow: /category/
这会阻止路径以/category/开头的网址。
路径/category的网址将继续被允许抓取，因为它没有尾部斜杠。