忽略robots.txt中没有参数的网址

Question

我有一个很漂亮的网址。

http://example.com/category/shoes

如果网址中没有disallow，我想url shoes parameter，因为如果没有参数，网页将被重定向到主页。

所以我在robots.txt文件

中尝试过类似的内容

Disallow: /category/
Allow: /category/*?*

我不确定上述尝试是否正确？或者实现它的正确方法是什么？

Answer 1

阻止：

http://example.com/category/

无阻塞：

http://example.com/category/whatever

您可以使用$运算符：

User-agent: *
Disallow: /category/$

$表示＆＃34; url＆＃34;的结尾。请注意，所有Web漫游器都不支持$运算符。这是一个适用于所有主要搜索引擎的常见扩展，但它不是原始robots.txt标准的一部分。

以下内容不起作用：

Disallow: /category/
Allow: /category/*?*

这将阻止以/ category /开头的任何网址路径，除非网址还包含问号。这可能不是你想要的。