Python:Javascript呈现的网页无法解析

时间:2017-03-17 01:50:32

标签: javascript parsing web-scraping web-crawler dryscrape

我想解析以下url中的信息。我想解析交易的名称,策略描述和交易历史中的交易#34;和"开放职位"。当我解析页面时,我没有得到这些数据。 我是解析javascript渲染网页的新手,所以我希望能解释为什么我的代码不能正常工作。

import bs4 as bs
import urllib
import dryscrape
import sys
import time

url = 'https://www.zulutrade.com/trader/314062/trading'

sess = dryscrape.Session()
sess.visit(url)
time.sleep(10)
sauce = sess.body()
soup = bs.BeautifulSoup(sauce, 'lxml')

谢谢!

1 个答案:

答案 0 :(得分:0)

您在代码中的链接不允许您获取任何内容,因为您应该使用的原始网址是我在下面粘贴的那个。您尝试使用的那个自动重定向到我在这里提到的那个。

https://www.zulutrade.com/zulutrade-client/traders/api/providers/314062/tradeHistory?

从该页面中删除表格中的json数据如下:

import requests
r = requests.get('https://www.zulutrade.com/zulutrade-client/traders/api/providers/314062/tradeHistory?')
j = r.json()
items = j['content']
for item in items:
    print(item['currency'],item['pips'],item['tradeType'],item['transactionCurrency'],item['id'])