Robot.txt如何允许以/结尾的页面,但不允许/之后的所有页面

时间:2018-08-30 13:43:47

标签: seo

我试图弄清楚如何只允许机器人抓取我的主页,如下所示:blabla.no/homepage/(必须是这样)

我想

allow: /homepage/

但同时 disallow /homepage/*(之后的所有内容)只有主页是可爬网的。

我知道,如果您以/结尾的指令,则不需要添加*$,那我该怎么办?这可以理解吗?

0 个答案:

没有答案