不了解此robots.txt

Question

另一家公司为我管理的网站设置了robots.txt。这是他们使用的代码：

User-agent: googlebot
User-agent: google
User-agent: bingbot
User-agent: bing
Allow: /products/

User-agent: *
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /xmlrpc.php
Disallow: /sales/
Disallow: /products/
Allow: /wp-content/uploads/
Allow: /wp-content/themes/
Allow: /wp-admin/admin-ajax.php*

我看到了禁止：/ products /，并允许/ products /。我不明白他们为什么这样写下来。我应该改变什么吗？

Answer 1

1. 第一个指令Allow: /products/对Google和 必应机器人。
2. 第二个伪指令Disallow: /products/有效 对于所有其他漫游器，`User-agent：*´。

这些规则对我没有多大意义，但它们没有违反标准。