我有一个网站，我在这里发布文章，这是我两周前才开始的。我想保持页面尽可能干净，并根据用户操作（单击立即）通过AJAX请求加载更多内容（指向更多文章的链接）。我做了一些阅读。关于该主题的大多数文章和博客文章都已过时。我了解到Google过去一直支持对AJAX请求进行爬网，但现在不支持。还有一些帖子建议使用包括通过分页来提供内容的方法。我还阅读了有关站点地图的信息。我知道它为搜索引擎爬虫提供了有关爬网哪些页面的线索。
但是，由于这些链接超出了范围并且只能通过单击“加载更多”按钮进行访问，因此搜寻器会检测到不一致吗？网站地图是否可以确保抓取工具访问该网址？