如何让谷歌抓取私人网页

Question

如何让我的网站的私人网页被Google抓取并编入索引？

也许它不是非常“常规”，但我希望我的私人网页“链接”显示在谷歌索引中，但接下来需要注册才能显示该页面。

Answer 1

编辑：基于添加“也许它不是非常”常规“，但我希望我的私人网页”链接“显示在谷歌索引中，但接下来需要注册才能显示页面。“问题： 您可以检查您的PHP代码中的用户代理，基本上允许谷歌查看页面，如果它是注册用户（谷歌的用户代理是“Googlebot / 1.0”，你可以搜索找到其他常见引擎的用户代理）。

然而，这种行为特别针对谷歌的规则，如果他们抓住你的话，他们可以并将从索引中删除你的网站。他们的政策是，您不应该对googlebot采取任何不同于对待访问您网站的任何随机人员。

（原始答案）一种方法是使用sitemap向Google显示如何查找所有网页。 一般而言，甚至在站点地图的情况下，如果您想要索引的内容没有链接到可以通过“根”（/）找到的页面（即公众无法找到它），然后它可能不会被索引。将其编入索引的唯一方法是在某个地方链接它。

问题是，为什么你还想要谷歌中的私人网页？

Answer 2

当且仅当它们可公开访问且your robots.txt file allows it时，它们才会被抓取。这就是你需要做的所有事情。

Answer 3

您是否在询问如何让Google为您的网页编制索引？

有两种方法。您需要确保在元数据中正确使用标题文字和描述关键字对页面进行SEO'd或Search Engine Optimisation。

您还可以将自己的网站提交给Google，这是一项免费服务，并且会将其放入Google将要编制索引的内容中。可能需要一些时间。

到目前为止，将页面编入索引的最佳方法是使用页面本身的元数据。

Answer 4

Google只会索引

• 从谷歌索引中的某个位置链接
• 可通过普通（未经身份验证的）HTTP
访问其抓取工具

它也将

• 将搜索结果中的内容提供给任何人。

这可能与您对“私人”页面的想法相冲突。

Answer 5

我将假设所有其他先前的回答者都误解了你。在我阅读时，您不是要求如何让Google为您的网页编制索引，而是如何获取Google目前已在您网站上编入索引的所有网页的列表？如果确实如此，您应该查看Google Webmaster Tools。