如何将“禁止”设置为具有动态ID的页面?

时间:2018-11-19 22:31:44

标签: indexing robots.txt google-crawlers

以下是一些示例路径,以及对爬网程序的预期访问权限:

/user?id=1          -- Allow
/user?id=1&p=2      -- Disallow 
/user?id=1&p=2&f=2  -- Disallow 

看到了吗?逻辑是/user?id={n}之后的所有内容都应忽略。但是,我应该如何显示“ n”?它是用户的ID。可以是任何数字。它是动态的。

有什么主意,我应该如何在robots.txt中写这样的东西有效?

0 个答案:

没有答案