使用Python从网站图表中收集数据

时间:2018-08-12 07:53:08

标签: python json

作为练习,我正在尝试使用Python从动态图形中抓取数据。可以在this link处找到该图(假设我想要第一个数据)。

现在,我正在考虑做类似的事情:

VS 2017

但是,我在代码的最后一行收到一条错误消息,说:

XAML

“数据”不是空的,因此我认为其中的信息格式存在问题。有人有解决此问题的想法吗?谢谢!

1 个答案:

答案 0 :(得分:2)

我打开了该链接,发现该站点从另一个URL-https://marketchameleon.com/charts/histStockChartData?p=747&m=12&_=1534060722519

加载了数据

您可以使用json.loads()函数两次,并使用标头进行一些破解(在Python 2中,urllib2.Request是您的朋友),因为当您不模仿浏览器时服务器会返回HTTP 500

src = 'https://marketchameleon.com/charts/histStockChartData?p=747&m=12'

import json
import urllib.request

user_agent = {
    'Host': 'marketchameleon.com',
    'Connection': 'keep-alive',
    'Pragma': 'no-cache',
    'Cache-Control': 'no-cache',
    'Upgrade-Insecure-Requests': 1,
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/68.0.3440.106 Safari/537.36',
    'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8',
    'Accept-Language': 'ru-RU,ru;q=0.9,en-US;q=0.8,en;q=0.7,kk;q=0.6'
}
request = urllib.request.Request(src, headers=user_agent)

data = urllib.request.urlopen(request).read()
print(data)
reply = json.loads(data)

table = json.loads(reply['GTable'])
print(table)