正确的robots.txt结构？ （Mediawiki的）

Question

我一直在不同的网站上查看robots.txt文件，偶然发现了我在MediaWiki的robots.txt上没想到的东西。根据我到目前为止所读到的内容，您可以使用如下所示的robots.txt文件进行编写：

Disallow: foo
Noindex: bar

然后我想知道是否：

Disallow: /wiki/Category:Noindexed_pages

是robots.txt文件中的正确结构，或者至少是mediawiki的一部分？还想知道 Noindexed_pa​​ges 是否可以是任何东西，或者它是否是静态的。

最后一段代码来自维基百科的mediawiki's robots.txt文章。

Answer 1

/wiki/Category:Noindexed_pages是一个MediaWiki category page，它链接到不应编入索引的网页。当搜索词是无索引页面标题的一部分时，该规则可能会阻止类别本身在搜索结果中支撑。