解决这个问题谷歌没有阻止网站

Question

在网站上工作。

• 如果我强制某个网站只允许登录用户访问该网站，我该如何解析这些网页，以便google不会阻止该网站？

Answer 1

如果您希望Google Spider访问您的网站，您需要访问一些公共页面。

您可以使用站点地图和站点中的robots.txt文件与Google通信哪个页面进行抓取。

另一种技术可能是为不同的基于内容类型的访问者提供服务，如果访问者是搜索引擎机器人，则服务器返回您的内容，如果访问者是浏览器/用户，则只能返回登录页面。这种技术不是防弹的，因为Google Serp中索引的内容被缓存，用户可以随时查看缓存结果（您甚至可能不允许在serp中对您的页面进行缓存）。