如何在向下滚动时下一页加载自身时获取下一页的链接

Question

我正在尝试从电子商务网站抓取数据，但我能够从一个页面抓取数据。所以我尝试通过页面进行分页，但问题是当前页面中没有下一页按钮，当我向下滚动到当前页面的底部时，下一页会自动加载。我在Python中使用BeautifulSoup来抓取数据。

抓取网页网址： http://www.shopclues.com/mobiles-smartphones.html

当我在向下滚动到结束之前检查页面时，我发现了类似的内容：

<div class="load_more">
   <a id="moreProduct" catid="1431" class="btn btn_effect" href="javascript:void(0);">Load 875 More Products</a>
</div>

所以我假设这个<div>标签是加载下一页的原因。 如果是，请向我提供如何获取下一页链接的答案。 如果不是，那么请检查我提供的URL并为我提供答案。