Question

我非常担心，因为Google以某种方式索引了我网站上的某个页面，据说该页面受到保护以使未登录的用户不可见。

通过读取包含用户会话的哈希值的cookie来保护页面。如果哈希解密给有效用户，则显示该页面。如果不是，则服务器返回http错误401（访问被拒绝）。

在Google编入索引的页面上，我已验证（使用隐身窗口）正确返回了401错误，并且未显示任何数据。但是，由于能够在搜索结果中显示标题，因此Google能够以某种方式读取它。

但是，谷歌能够阅读所有内容确实让我感到困扰。我能想到的唯一可能性是，他们从具有合法访问权限或至少使用了Cookie的登录用户的浏览器中抓取了页面。

此后，我在标题中添加了一行：

<meta name='robots' content='noindex,nofollow'>

我真的不知道这是否有帮助。

我是否应该采取其他措施来最大程度地保护Google避免被索引的事物编入索引？有没有什么好的方法可以测试页面以确保它不会以任何方式显示给Google？

（顺便说一句，我不包括URL，因为相关页面将很快获得批准，因此可以合法查看）

Answer 1

我认为Google索引的不是页面本身，而是其他页面指向该页面的链接。