Sitemap / robots.txt配置冲突

Question

My robots.txt包含以下规则：

Disallow: /api/
Allow: /
Allow: /apiDocs

/apiDocs网址位于站点地图中，但根据Google网站站长工具，这些robots.txt规则禁止对其进行抓取。我希望阻止所有与/api/*匹配的网址被抓取，但允许抓取网址/apiDocs。

我应该如何更改robots.txt来实现此目标？

Answer 1

• 记录中不允许换行（您的Disallow和Allow行之间有换行符。）

• 您不需要Allow: /（它与Disallow:相同，这是默认设置。）

• 您不允许抓取/api/（其路径以“api”开头，后跟“/”）的任何网址，因此无需Allow: /apiDocs，因为它仍然是允许的

所以你的后备记录应该是这样的：

User-Agent: *
Disallow: /login/
Disallow: /logout/
Disallow: /admin/
Disallow: /error/
Disallow: /festival/subscriptions
Disallow: /artistSubscription
Disallow: /privacy
Disallow: /terms
Disallow: /static
Disallow: /api/

当机器人与此“后备”记录匹配时，系统可以抓取路径以apiDocs开头的网址。