如何使用请求对“网络”下“预览”中的数据进行网络抓取？

Question

例如，在此高位图表中： https://www.highcharts.com/stock/demo/basic-line

我正在尝试通过网络收集此信息

每个下拉列表都有我需要收集以进行分析的信息。目前，我正在尝试在python中使用Requests程序包

很想听听任何建议！

Answer 1

好吧，使用requests.get发出get请求，然后使用.json方法将响应解析为json，然后可选地将时间戳记（以毫秒为单位，除以1000得到秒）转换为{ {1}}个对象如下：

datetime

输出：

import requests
from datetime import datetime
from pprint import pprint


def get_stock_prices(symbol: str) -> list:
    symbol = symbol.lower()
    url = f'https://www.highcharts.com/samples/data/{symbol}-c.json'
    res = requests.get(url)
    res.raise_for_status()
    prices_raw = res.json()
    return [[datetime.fromtimestamp(t / 1000), price] 
            for t, price in prices_raw]


symbol = 'AAPL'
stocks = get_stock_prices(symbol)
pprint(stocks)