robots.txt禁止包含URL参数的路径，无论顺序如何

Question

问题

我正在尝试使用robots.txt阻止包含某个网址参数的路径。无论此URL参数在查询字符串中的哪个位置，我都想阻止路径。

我尝试了什么

阅读several answers后，我尝试过：

Disallow /*?param=

此外：

Disallow /*?param=*

如果param是第一个URL参数，这些只会阻止路径。但如果它稍后出现在URL中则不会。

我也尝试过：

Disallow /*?*param=*

虽然这有效，但它也会阻止任何带有后缀为param的URL参数的路径，因此这不是一个可接受的解决方案。

问题

如何阻止包含特定URL参数的路径，无论它在查询字符串中出现在哪里？

Answer 1

如果你想阻止：

/path/file?param=value
/path/file?a=b&param=value

但你不想阻止：

/path/file?otherparam=value
/path/file?a=b&otherparam=value

您需要使用两个禁止行，如下所示：

User-agent: *
Disallow: /*?param=
Disallow: /*&param=

用一条线无法可靠地做到这一点。