使用Python从中国股票网站刮取数据表

Question

我正试图从中文网站上删除部分数据。我要抓的网站是：http://data.10jqka.com.cn/market/yybzjsl/HTZQGFYXGSCDSJLZQYYB

我想获得下面的整个数据表：

共有86页。下面的代码不成功。有人可以帮我一把吗？

import urllib2, pandas,json

baseurl="http://data.10jqka.com.cn/interface/market/yybzjsl/desc/%s/20/"
def getdata(pgnum):
    cururl = baseurl % str(pgnum)
    ##print cururl
    cn=urllib2.urlopen(cururl)
    jstbl=json.load(cn,encoding='gbk')['data']
    return pandas.read_html('<table>'+jstbl+'</table>')[0]

dataout=pandas.DataFrame()
for pgnum in range(86):
    print pgnum
    totaltry=0
    while True:
        try:
            curdata=getdata(pgnum+1)
            curdata['pgnum']=pgnum+1
            break
        except:
            totaltry+=1
            print 'failed: %s' % totaltry
    dataout=dataout.append(curdata, ignore_index=True)

dataout.to_csv('~/Desktop/dataout.csv')

Answer 1

用于网页抓取的python框架很少。请查看Scrapy和Grab。两者都有在线文档和教程。

Answer 2

我建议使用Beautiful Soup进行抓取。

更新：类似的东西（但我建议查看BS4文档，了解如何真正使用它）......

import urllib
from bs4 import BeautifulSoup, SoupStrainer

baseurl="http://data.10jqka.com.cn/market/yybzjsl/HTZQGFYXGSCDSJLZQYYB"
page = urllib.urlopen(baseurl) 
getonly = SoupStrainer('table')
table = BeautifulSoup(page, parse_only=getonly)

for row in table("tr"):
  text = ''.join(row.findAll(text=True))
  data = text.strip()
  print data

获取你：

...    
2015-02-04
吴通通讯
日换手率达20%的证券
10.02%
买入
3489.00
1084.38
7.43%
通信设备
2015-02-03
赢时胜
日换手率达20%的证券
5.57%
卖出
1065.53
646.77
6.07%
计算机应用
2015-01-30
京天利
日涨幅偏离值达7%的证券
10.00%
买入
2363.95
1698.03
13.68%
计算机应用