如何使用请求对“网络”下“预览”中的数据进行网络抓取?

时间:2019-07-17 16:38:17

标签: web-scraping python-requests

例如,在此高位图表中: https://www.highcharts.com/stock/demo/basic-line

我正在尝试通过网络收集此信息 under network --> preview

enter image description here

每个下拉列表都有我需要收集以进行分析的信息。目前,我正在尝试在python中使用Requests程序包

很想听听任何建议!

1 个答案:

答案 0 :(得分:0)

好吧,使用requests.get发出get请求,然后使用.json方法将响应解析为json,然后可选地将时间戳记(以毫秒为单位,除以1000得到秒)转换为{ {1}}个对象如下:

datetime

输出:

import requests
from datetime import datetime
from pprint import pprint


def get_stock_prices(symbol: str) -> list:
    symbol = symbol.lower()
    url = f'https://www.highcharts.com/samples/data/{symbol}-c.json'
    res = requests.get(url)
    res.raise_for_status()
    prices_raw = res.json()
    return [[datetime.fromtimestamp(t / 1000), price] 
            for t, price in prices_raw]


symbol = 'AAPL'
stocks = get_stock_prices(symbol)
pprint(stocks)