我有一个巨大的网站，有超过500万的网址。
我们已经在7/10进行了调查。问题是，因为500万网址，因为我们每天添加/删除新网址（我们添加±900，我们删除±300）谷歌不够快，无法索引所有这些网址。我们有一个庞大而强大的perl模块来生成这个站点地图，通常由6个站点地图文件组成。肯定谷歌不够快，无法添加所有网址，特别是因为我们通常每天重新创建所有这些网站地图并提交给谷歌。我的问题是：什么应该是更好的方法？即使我知道谷歌不能处理，我真的应该每天向谷歌发送500万网址吗？或者我应该只发送不会改变的固定链接，谷歌爬虫会找到其余的，但至少我会在谷歌有一个简洁的索引（今天我从5.000.000网址索引少于200）
答案 0 :(得分：1)
有很多索引网站立即被删除有什么意义？ 临时页面对于搜索引擎及其用户处置后毫无价值。所以我会让搜索引擎抓取工具决定页面是否值得索引。只需告诉他们将保留的URL ...并实现一些列表页面（如果还没有），这样可以更轻松地抓取您的页面。
请注意以下内容：5个网址的6个站点地图文件？ AFAIK，站点地图文件不得包含超过50k的网址。
答案 1 :(得分：1)
当网址发生变化时，您应该注意您是否正常使用301状态（永久重定向）。
编辑（细化）： 您仍应尝试使用您的网址格式稳定。您可以使用301进行重定向，但维护大量重定向规则非常麻烦。
答案 2 :(得分：0)
为什么不将每次站点地图与之前的站点地图进行比较，只向谷歌发送已更改的网址！