我的网站的某个部分仅供经过身份验证的用户访问。我想知道这些网页是否被谷歌抓取，或者它们对搜索引擎有点“隐藏”。
感谢
答案 0 :(得分：6)
如果他们对未经过身份验证的用户关闭，他们当然也不会关闭Google。谷歌机器人只是另一个试图访问您网站的客户。
一些像报纸这样的网站的内容是为付费用户保留的，但它们在搜索引擎中是可见的。即使他们不支付客户费用，这仍然是网站管理员一方有意识地将网站打开到搜索引擎机器人的行为。
搜索引擎没有“特殊钥匙”进入房子。
答案 1 :(得分：2)
如果您仍有疑问，可以使用“site：yourside.com”查询google并查看结果页。
答案 2 :(得分：1)
由于网络抓取工具只是另一个尝试访问您网站的客户端，因此抓取工具也无法访问经过身份验证的区域。
如果您想告诉网络抓取工具不要将您网站的其他部分编入索引，请使用您放置在网站根目录中的名为robots.txt的文件。例如：
的robots.txt
User-agent: *
Disallow: /hidden
这将告诉所有网络抓取工具不要在“隐藏”目录中索引内容。
答案 3 :(得分：1)
如果您的网站包含指向需要身份验证的网页的链接，那么，Google会尝试抓取该网站。由您来确保未提供未经身份验证的用户。
正如Greenie建议的那样，使用Robots.txt文件告诉搜索引擎不要尝试抓取受保护的内容。
请记住，遵守Robots.txt中的说明是自愿的。没有什么可以阻止网络抓取工具实际请求这样的内容，如果是这样，一个Robots.txt文件可能相当于前门上的一条消息，上面写着“这里有价值的东西!!”。