Python Web搜寻-动态加载页面

Question

我正在使用python scrapy框架（接受其他库的建议）来抓取机票网站，但是当请求页面时，它不会返回全部内容。

页面上有一些POST请求，这些请求具有价格响应，但是此查询需要花费几秒钟的时间，所以我没有完整的HTML。

查询前的页面：

<div id="prices">
</div>

查询后的页面：

<div id="prices">
    <div id="price">
        Flight price with info
    </div>
    <div id="price">
        Flight price with info
    </div>
    <div id="price">
        Flight price with info
    </div>
</div>

由于存在API端点保护，因此我不确定是否可以伪造POST请求并获得json响应。

完全加载后，如何在查询后获得页面？