页面内容不响应获取请求

时间:2014-09-05 10:11:47

标签: python web-scraping python-requests

我正在尝试使用python和请求从我的在线银行页面访问我的交易历史记录。我无需登录请求并获取我的帐户概述页面内容,但银行帐户交易数据不在响应文本中。显然,当我访问同一页面时,它会显示在我的浏览器中。

通过浏览器查看原始html,我的银行交易数据存在;但是,我在python中从get请求收到的响应内容中没有它。

我认为这与以下内容有关: 当通过浏览器访问页面时,事务数据暂时不可见,因为它是由某个未知的后台进程加载的。我认为当我通过python访问网站时会发生同样的过程,但请求响应只包含访问时页面初始状态时出现的内容;此状态不包括事务数据,因为数据仍在加载。

支持这一理论的一件事是,通过python收到的响应文本和浏览器中的响应文本(在开发人员工具中查看)在html中的这一行是相同的:

<div id="accountRefreshDiv" style="display:none"><img blah blah>Updating...</div>
首次访问页面时,“更新”也会出现在浏览器中,还有一个小小的滚轮。

所以我的问题是,在后台可以进行什么类型的子进程,如何获取它正在获取的数据(可能使用JavaScript)但是使用python?

0 个答案:

没有答案