禁止robots.txt中的所有分页页面

Question

我不希望谷歌抓取我的所有分页：

以下是示例：

http://sample.com/blog-page/page/1

http://sample.com/blog-page/page/2

http://sample.com/blog-page/page/3

我还有其他一些分页页面：

http://sample.com/product-category/product/page/1

http://sample.com/product-category/product/page/2

http://sample.com/product-category/product/page/3

以下是我的robots.txt的代码

User-agent:  *

Disallow: */page/*

Answer 1

User-agent:  *

Disallow: /blog-page/page/

您可以使用它来帮助您使用robots.txt生成

http://tools.seobook.com/robots-txt/generator/

Answer 2

我认为应该是

User-agent: *
Disallow: /blog-page/page

多个astricks不是必需的，您必须确保包含整个路径，因为/page将是您网站的根