我正在创建一个将拥有wiki文章数据库的网站。目前，除了使用现场搜索引擎外，没有任何链接到维基文章。
如何让谷歌和其他互联网搜索引擎抓住这些文章？除非是某种类型的自动站点地图，否则数据库中的文章太多，无法直接包含所有文章的链接。
在很多wiki上我看到一个随机页面按钮的视图;我从来没有见过那些自己作为用户的观点，是那些帮助搜索引擎机器人的人吗？
答案 0 :(得分：2)
Sitemaps协议允许网站管理员通知搜索引擎网站上可用于抓取的网址。
答案 1 :(得分：2)
向谷歌提交Sitemap。使用Google网站站长工具添加您的网站并自动生成压缩的sitemap.xml。这会告诉Google您网站上的所有网址，以便抓取这些网址。您还可以监控Google抓取您网站的频率，以及是否遇到任何错误。
编辑：如果您担心Sitemap过大，可以使用指向主索引页的单个网址生成站点地图。该索引页面可以每天生成一次或一次需求，并且可以根据需要进行分段。它只是充当Google抓取的来源。例如，它可以呈现字符A，B，C，D，E，...，Z的列表，这些字符是指向包含以该字符开头的所有页面的列表的页面的链接。没关系，但是你想要优化数据库资源。
他们的关键是将sitemap.xml添加到Google的系统中，以便他们知道抓取您的时间和频率。生成站点地图有各种各样的复杂性。使用一个URL的上述方法很粗糙，但它可以工作。理想情况下，您会生成一个站点地图，系统中的每个URL都按优先级排序，但不需要这样做。
查看站点地图规范以获取更多信息。如果您只想为Google播种，请使用1 URL方法开始。
答案 2 :(得分：2)
您可以编写生成sitemap的PHP或ASP脚本，并将请求重定向到/sitemap.xml到该脚本。
然后，您可以使用他们的Webmaster Tools将网站地图提交给Google。