scrapy javascript pagination href =＃

Question

我正在使用scrapy＆amp;从启用了javascript的银行页面开始抓取促销优惠。

https://www.dbs.com.sg/personal/product-promotion-list.page?pct=Cards#

我面临的问题是它内部的分页是使用javascript完成的，因此链接采用以下格式：

<a href="#">1</a>
<a href="#">2</a>
<a href="#">3</a>

href链接全部隐藏在＃。

中

随着我的深入挖掘，html代码中的分页功能是：

<script type="text/javascript">

    $(document).ready(function(){
    productList();
    });
    $('.pagination').on("click","a",checkClass);
    $('#filterSearch').on("click",searchTextChange);
    $('form').submit(function(e){
         e.preventDefault();
    });
    $("#Search").keyup(function(event){
        if(event.keyCode == 13){
            $("#filterSearch").click();
        }
    });

</script>

任何人都可以帮我吗？任何帮助表示赞赏！感谢。

Answer 1

通过单击每个分页（1,2或3），使用POST从服务器请求以下URL：

https://www.dbs.com.sg/personal/product-promotion-list-child.page

使用以下发布的表单数据：

promotype=&start=1&pageNum=1&search=&type=promotion&pct=Cards（第1页） promotype=&start=2&pageNum=1&search=&type=promotion&pct=Cards（第2页） promotype=&start=3&pageNum=1&search=&type=promotion&pct=Cards（第3页）

如果您直接通过正确的页码点击此URL怎么办？此请求返回HTML，其中包含您想要的促销列表。