谷歌爬行ajax

Question

我有结果页面，其中结果加载了ajax，这意味着分页按钮正在调用JS。结果页面的链接很漂亮'/ result / sell / 06589'，我会引导谷歌到这个页面，但有办法让爬行机器人点击分页按钮。

Answer 1

是的，让它们不是按钮，而是设置为按钮的链接。

另外，你需要确保它们在没有Javascript的情况下工作！爬虫通常没有Javascript。