我有一个超过20,000页的DNN网站。 Googlebot和Bingbot一直在抓取我的网站。
当我查看我的sitelog时，我可以看到google和bing正在通过pageid抓取我的网站（例如：www.url.com/Default.aspx?TabID=5000）
机器人每分钟都在点击我的网站。当我添加新页面时，我希望机器人抓取新添加的页面，而不是我看到机器人重新抓取非常旧的页面，并且会在识别新添加的页面之前花费几个小时。
我的robot.txt文件包含超过10,000个具有以下定义的条目：
不允许：？/Default.aspx TabID = 5000
禁止：/Default.aspx TabID = 5001
禁止：？/Default.aspx TabID = 5002
等等。
所以我注意到了几个问题：
1 - Googlebot和Bingbot忽略了我的禁令并重新抓取我在robots.txt中定义的网页 - 机器人如何知道使用TabID返回并重新抓取旧网页？
2 - 我仍然注意到，当我添加新页面时，两个机器人都在忙于抓取旧内容，并且不会立即阅读我的新内容，是否有办法强制Google和Bing机器人始终首先阅读新添加的页面？
提前感谢您提出任何建议。
答案 0 :(得分：0)
如果您转到http://URL.com/sitemap.aspx，请检查其中列出的页面。
我强烈建议升级到DNN 7，因为您可以控制站点地图中显示的页面，这可以帮助您控制索引问题。
更新：在管理员菜单下，如果找到搜索引擎站点地图页面，则可以设置要包含在站点地图中的最小页面优先级。然后，对于您不想显示的页面，您可以在页面设置中修改其优先级。