我有一些页面名称index2.php，index3.php，..
它们是我的index.php的副本，用于测试目的
我应该因为双重内容而禁止在robots.txt中使用这些页面吗？
或者没关系，因为这些页面没有链接到我的网站上？
如果我因谷歌的双重内容而受到惩罚，那有多糟糕？
答案 0 :(得分：1)
如果您从未链接到测试页面或与任何人共享链接（可能会在其他地方发布），并且它们不会出现在任何站点地图中，则抓取工具将永远不会找到这些页面。
我不建议将它们添加到您的robots.txt中，因为任何人都可以查看您的robots.txt并找出您的测试页的位置。通常，您不希望公众有权访问测试页。
如果您想确保没有人能够查看您以外的测试页面，请添加IP检查或其他一些安全措施，例如登录。
答案 1 :(得分：0)
Dupe内容或任何可能让你失望的东西，都很难从中恢复过来。总的来说，我会说这取决于你对你的网站/服务做了什么。如果它全部都与内容有关，那么它在某种程度上会变得重要。一旦谷歌和其他引擎将您列入域名池中以获取欺骗内容或其他可能的标志，这些标志将试图错误地提升您的排名，那么退出该池很困难。它就像信任一样，一旦你为了某人而失去它，它就很难获得它。
然后很难说，我已经知道一些人已经在几个月内试图解决类似的问题，我知道一些人在一周内解决了这个问题。
这一切都归结为您的网站/服务正在做什么，以及它是如何做到的。如此多的因素，不仅仅是一个因素会杀死..
至于整个机器人文字的东西，如果你所关心的那个，它就没有坏处。像google这样的引擎会为机器人文本付出代价，并且足够尊重它。没有它，尽管没有直接链接谷歌和/或其他引擎有时找到一种方法来找到它。我已经看到公众最终没有看到的整个子域名在搜索引擎中被编入索引，我已经有了大多数公开名称从未公开链接到搜索引擎的最终文件名...它的命中或错过
答案 2 :(得分：0)
为了安全起见，你应该禁止它们，如果你完全删除它们会很棒。
关于惩罚，只是如果你在不同页面上有重复的内容，那些页面将开始相互竞争以获得更高的排名。你不希望自己的网页互相争夺排名。