我正在构建一个java webcrawler,我需要从我请求的Google搜索中捕获“下一页”链接。为此,我试图实现一种模式或方法,但直到现在我找不到任何关于此的线索。
看看这张照片:
您可以测试自己,“下一页”是您传递鼠标的每个数字的相同链接。在链接上改变的唯一想法是部分"Start=(number)"
几乎在链接的末尾。对于每个搜索页面,它在开始时加10,因为这是每页的链接数量。
但是,奇怪的是,当您请求浏览器显示其代码时,此“默认”链接不会出现在页面的源代码中。也许这与谷歌索引流程有关,但我不确定,因为我还不是专家程序员,特别是在网络编程中。
所以,任何人都有任何想法我应该如何解决这个问题?