如何在robots.txt或.htaccess上阻止某种类型的网址？

Question

当前在我的网上商店中，在页面过多的类别页面上，URL以https://www.example.com?p=2 p = 3结尾。 我想告诉robots.txt不要索引以p = Number结尾的网址。我该怎么做呢？顺便说一下，这是一个prestashop网站。

谢谢大家。

Answer 1

只需在您的robots.txt文件中添加以下行：

Disallow: /?p=*

例如，这将阻止类似example.com/?p=2的URL被Google之类的索引。 *符号代表ALL。因此p=之后的所有内容都将包含在内。

Answer 2

如果p =分页，则不想继续抓取这些URL。

如果您不希望它们在Google中建立索引，请为它们添加一个noindex标记，但不要在其上放置任何东西以防止抓取。