如何限制搜索引擎索引我的mediawiki网站？

Question

是否有一种简单的方法来限制您的内容被主要搜索引擎编入索引？ 谢谢 Prady

Answer 1

一种可能的方式是 Robots.txt 文件。

User-Agent: *
Disallow: / 

Here是一篇博客文章，讨论其他技术，包括元标记。

Answer 2

大多数搜索引擎都会关注robots.txt。我听说过Yahoo Slurp！没有。

您可以扫描用户代理以获取众所周知的机器人，例如Google，Yahoo，Bing，Internet Archive等，并生成空白输出。您将因向Google提供替代内容而受到处罚，但由于您阻止了这些内容，因此不会出现问题。

最重要的是你公开发布的任何内容都可以被搜索引擎蜘蛛等机器人访问。

不要忘记机器人有一个nasty habit of being where you don't want them to be（混合了不良的编码实践，可能是非常灾难性的）。

Answer 3

傻瓜证明？我想不是。您可以限制IP，使用Robots.txt，meta标签，但如果搜索引擎真的希望您的内容被编入索引，它就会找到一种方法。