使用HTTPS网址索引和抓取数据

时间:2014-05-05 05:55:51

标签: web-crawler google-webmaster-tools

我的网站有点公开(用户可以在没有 签名 的情况下查看)+私有(用户必须登录才能使用)。

所以我的问题是,Google抓取工具应该知道我的网站是私有的(带有 https 的网址)。此外,我想抓取该内容并使用HTTPS索引我的所有ULR。

是否有任何选项可用于支持使用 Google网站管理员工具的HTTPS网址。如果有选项支持这些网址,那么我想知道Google抓取工具如何在不登录的情况下访问我的网页内容。所以大家分享你的想法,并提前致谢。

1 个答案:

答案 0 :(得分:0)

Google能够抓取并理解HTTPS网址,就像它能够抓取并理解HTTP网址一样。话虽如此,Google无法登录您的网站,因此Google无法看到登录后面的任何内容。