Question

我有一个无法通过我的网站访问的网页。

说，我的网站是www.google.com，我无法使用该网站访问的网页就像www.google.com/iamaskingthis/asdasd。当我输入其内容时，此网页会显示在Google搜索结果中，但是没有任何内容可以将我发送到我网站上的该页面。

我已经尝试过分析页面源以找到它的父位置，但我似乎无法找到它。我想要删除那个页面，但由于我找不到它，我也无法销毁它。

谢谢

Answer 1

您可以使用robots.txt文件阻止搜索引擎机器人访问某个网页，从而无法显示搜索结果。

例如，您可以在网站的根目录中创建robots.txt文件，并将以下内容添加到其中：

    User-agent: *
    Disallow: /mysecretpage.html

Answer 2

没有“父页面”这样的概念。如果您的意思是，通过Google找到该页面的链接，请记住，它不需要在您的控制之下：如果我在我的网站上的页面上添加了www.google.com/iamaskingthis/asdasd的链接并且thegooglebat抓取它，它会知道它。

简而言之：没有可靠的方法在网站上隐藏页面。如果要限制访问，请使用身份验证。

Answer 3

即使按钮消失，Google也会抓取该页面，因为它已将页面存储在其记录中。禁止谷歌抓取的唯一方法是robots.txt或者只是将其从服务器上删除（通过FTP或您的托管控制面板）。