谷歌上的htaccess和索引

Question

我必须使用域名：example.com和example.dk。我使用最后一个作为我的主页，我会使用第一个作为我的测试服务器。

我有一个独特的名字，世界上没有人拥有。因此，如果在Google上使用我的姓名搜索，我不希望我的名字显示在我的测试服务器上，因此人们会转到错误的页面。

我通过制作解决了这个问题：

Order Deny,Allow
Deny from all
Allow from myip

工作正常。但是这是否会阻止该网站进入搜索引擎，因此如果人们搜索我的名字，域example.com就不会显示？

Answer 1

您希望将robots.txt文件放在testserver的根目录中，其中包含以下内容：

MP4

这将告知合法搜索引擎您不想被编入索引，但它不会阻止恶意软件机器人。这意味着当索引机器人通过时，它们将不会爬过网站。

您可以更多地了解here。