谷歌搜索和限制内容?

时间:2013-04-28 12:59:51

标签: web-crawler google-search

如果某个网站的内容在某人未登录时将无法看到,那么Google会如何看待它?

该页面是电子商务,限制访问(用户必须登录才能看到产品)页面;因为谷歌看不到那些产品?

处理此问题的正确策略是什么?

2 个答案:

答案 0 :(得分:2)

对于Google-Adsense,此问题可能有意义。 Google为此提供了网站身份验证功能:请参阅 - Google AdSense launches site authentication

您可以向Google提供您的用户名和用户名。密码和谷歌机器人可以抓取您的受保护网页 - ,以便当访问者访问该网页时,它可以更好地投放定位广告

此外 - 如果这不是预期目的,请记住向Google提供不同的内容,而不是用户名&密码明显错误。
想象一下,你在谷歌搜索了一些东西,只要你点击第一个链接 - 网站就会出现一个注册页面,没有有用的信息!

答案 1 :(得分:1)

您可以使用提供的用户代理标头来检测Google僵尸程序是否正在访问您的站点并处理它,就像僵尸程序是已登录的常规用户一样。这在phpBB等程序中实现(在该程序中作为特殊能见度选项)。

该解决方案的缺点是您无法依赖提交的用户代理标头,因为您可以轻松发送精心设计的标头,以便您在网站上显示为Google僵尸网站(例如,有针对Firefox的扩展程序)提供这样的功能)。