我可以告诉sitecrawlers访问某个页面吗？

Question

我有一个围绕文档数据库的drupal网站。按照设计，您只能通过搜索网站找到这些文档。但我希望所有结果都被Googlebot和其他抓取工具编入索引，所以我在想，如果我创建一个列出所有文档的页面，然后告诉机器人访问该页面以索引我的所有文档...？

这可能，还是有更好的方法呢？

Answer 1

Create a XML sitemap and submit it to Google。其他搜索引擎也支持这一点。

Answer 2

也许是Sitemap

  

Google推出了Google Sitemaps，因此网络开发人员可以发布其网站上的链接列表。基本前提是某些站点具有大量动态页面，这些页面仅通过使用表单和用户条目可用。然后，Sitemap文件可用于向Web爬网程序指示如何找到此类页面。 Google，Bing，Yahoo和Ask现在共同支持Sitemaps协议。

Answer 3

您应该制作XML站点地图。 Drupal中有一个名为XML sitemap的模块（超过42.000个Drupal站点使用它）：

来自模块：

  

XML站点地图模块创建符合sitemaps.org规范的站点地图。这有助于搜索引擎更智能地抓取网站并使其结果保持最新。该模块创建的站点地图可以自动提交给Ask，Google，Bing（以前的Windows Live Search）和Yahoo!搜索引擎。该模块还附带了几个子模块，可以为内容，菜单项，分类术语和用户配置文件添加站点地图链接。

Answer 4

事实上，您可能对此drupal sitemap builder plugin感兴趣。