使用请求获取网页的网络活动?

时间:2020-05-16 03:50:34

标签: python google-chrome python-requests google-chrome-devtools

该请求是通过JS发出的,我目前正在使用此代码,以便通过使用requests_html模块解析JS脚本来获取所需的数据的url。

        link = 'https://steamcommunity.com/market/listings/730/AK-47%20%7C%20Redline%20%28Field-Tested%29'
        session = requests_html.HTMLSession()
        r = session.get(link)
        time.sleep(1)
        item_nameid = str(r.html.search('Market_LoadOrderSpread( {} );  // initial load')).split("('")[1].split("'")[0]

        url = 'https://steamcommunity.com/market/itemordershistogram?country=CN&language=english&currency=23&item_nameid={}&two_factor=0'.format(item_nameid)

        source = requests.get(url, cookies=cookies, headers=headers, timeout=10)
        source.encoding = 'utf-8'

此方法仅在〜75%的时间内有效,是否有更好的方法呢?

这就是DevTools-> Network-> XHR的样子:

URL of data I wannt

我要获取的URL是https://steamcommunity.com/market/itemordershistogram?country=CN&language=english&currency=23&item_nameid=7178002&two_factor=0 ,其中item_nameid=7178002是未知的,只能从JS脚本获得

0 个答案:

没有答案