标签: indexing robots.txt google-crawlers
以下是一些示例路径,以及对爬网程序的预期访问权限:
/user?id=1 -- Allow /user?id=1&p=2 -- Disallow /user?id=1&p=2&f=2 -- Disallow
看到了吗?逻辑是/user?id={n}之后的所有内容都应忽略。但是,我应该如何显示“ n”?它是用户的ID。可以是任何数字。它是动态的。
/user?id={n}
有什么主意,我应该如何在robots.txt中写这样的东西有效?
robots.txt