标签: seo
我试图弄清楚如何只允许机器人抓取我的主页,如下所示:blabla.no/homepage/(必须是这样)
blabla.no/homepage/
我想
allow: /homepage/
但同时 disallow /homepage/*(之后的所有内容)只有主页是可爬网的。
disallow /homepage/*
我知道,如果您以/结尾的指令,则不需要添加*或$,那我该怎么办?这可以理解吗?
/
*
$