如何在robots.txt中禁止服务api和多语言网址

Question

我需要禁止下一个网址：

1. service api /_s/user，/_s/place，...所有内容均以/_s/
开头
2. 保存表单：/{language}/save。例如/{en}/save，/{ru}/save，...

注意：大多数网址的开头都有语言参数：/en/event，...我不想阻止它们。

应该是这样的:(但robots.txt格式不允许这样做）

Disallow: /_s/*
Disallow: /:lang/save

Answer 1

robots.txt匹配位于左侧，因此匹配以/pattern开头的任何内容。

像/*pattern这样的通配符匹配给定pattern必须遵循的任何开头。因此，右侧永远不需要*（例如/foo*，因为它等同于/foo）。

所以在你的情况下你可以使用

  

Disallow: /_s/

• 禁止任何以/_s/开头的内容，例如/_s/foo

  

Disallow: /*save

• 禁止所有模式，例如/en/save但也 /foosave或/en/save/other

您可以使用$表示“必须以结尾”

  

Disallow: /*save$

• 禁止所有模式，例如/en/save或/fr/save，但不 /en/save/other

您可以在Robots.txt : 4 Things You Should Know文章

中找到有关robots.txt的更多信息

我希望这会有所帮助。