Question

我有这样的动态网址。

mydomain.com/?pg=login
mydomain.com/?pg=reguser
mydomain.com/?pg=aboutus
mydomain.com/?pg=termsofuse

当请求页面时。 mydomainname.com/?pg=login index.php包含login.php文件。

有些网址被转换为静态网址 mydomain.com/aboutus.html mydomain.com/termsofuse.html

我需要允许索引mydomainname.com/aboutus.html,mydomainname.com/termsofuse.html 并禁止mydomainname.com/?pg=login,mydomainname.com/?pg=reguser，请帮助管理我的robots.txt文件。

我还有mydomainname.com/posted.php?details=50（详情可以有任何数字）我转换为mydomainname.com/details/50.html 我还需要允许所有这类网址。

Answer 1

如果您只希望索引静态页面，可以使用：

Disallow: /*?

这将禁止包含问号的所有网址。

如果您希望保留index.php？details = 50个网址的索引，并且您希望禁用一组有限的参数，则可以为每个参数创建一个禁止条目，如下所示：

Disallow: /?pg=login

或者只是阻止所有以/？

开头的内容

Disallow: /?*

您可以使用这样的工具来测试网址的抽样，看它是否与之匹配。