Python请求库和动态数据

时间:2018-02-10 13:24:36

标签: python http-headers python-requests dynamic-data

我正在使用python的请求库从某个网站获取HTML代码(脚本,允许检查算术平衡 - 移动运营商)。 脚本尝试登录网页,验证后,接收其中一个子页面的源代码。在这个子文章中,脚本试图找到一些值,然后打印这个值。所有功能都在同一个http会话中执行。

不幸的是,总是在第一次运行中,从上次执行一段时间后(约30分钟),找不到这个值。 在第二次运行中,没有问题(以及每次下一次运行) - 如果此代码经常执行得足够多。 我检查了子页面的源代码,当值进入子页面时,以及当值不在其中时。 能告诉我,如何使用这类数据的请求库? 我能做什么,在每次执行脚本时都能收到这些值?

在diffchecker上我上传了两个html源https://www.diffchecker.com/dn7ziRjJ

标题已正确配置IMO:

self.myheaders = requests.utils.default_headers()
    self.myheaders.update(
        {
            'User-Agent': 'Mozilla/5.0 (Windows NT 6.3; WOW64; rv:52.0) Gecko/20100101 Firefox/52.0',
        }
    )
    self.s = requests.Session()

0 个答案:

没有答案