通过php告诉使用if语句和搜索引擎蜘蛛重定向？

Question

我的几乎所有网站页面都是用户访问过的，如果不是用户而没有登录，则他们根本无法访问这些页面。

搜索引擎蜘蛛是否仍然可以列出，抓取并索引这些用户页面，因为他们不会登录？

有没有更好的方法来使用这个系统来获得更好的索引？

Answer 1

如果您有非用户相关内容，而您希望搜索引擎对其进行抓取，那么您应该让他们无需登录即可访问它。

Answer 2

蜘蛛不登录，所以不，它看不到受保护的页面。您也不应该尝试让这些页面对蜘蛛可见，而不是对未登录的访问者，搜索引擎会对您的网站进行惩罚，甚至停止索引。

然而，您可以向未登录的用户显示该页面的摘录，例如前X个单词。抓取页面的蜘蛛将能够阅读该文本。