如果网址以

时间:2015-10-12 18:28:11

标签: robots.txt

我有用户创建的网址,所有网址都以/post结尾。我希望能够让搜索引擎抓取这些网址。我已禁止所有其他网址。以下是一些例子:

www.website.com/john-smith/my-blog/post
www.website.com/jim-thomas/my-skiing-blog/post
www.website.com/matt-jones/blog-about-gaming/post

我该怎么做?感谢。

1 个答案:

答案 0 :(得分:0)

解决方案实际上非常简单:

Allow: /post$