从网站上抓取动态数据的最佳方法是什么?
我想阅读本页顶部的股票代码值:
https://www.google.com/finance?q=INDEXBOM%3ASENSEX&ei=M1B1U_iEG8OPkAWhuYGIDA
使用python。我似乎无法找到明确的出路。
答案 0 :(得分:4)
由于Google财经API为shut down,您可以选择通过urllib2
和BeautifulSoup
获取它:
>>> from urllib2 import urlopen
>>> from bs4 import BeautifulSoup
>>> url = 'https://www.google.com/finance?q=INDEXBOM%3ASENSEX&ei=M1B1U_iEG8OPkAWhuYGIDA'
>>> soup = BeautifulSoup(urlopen(url))
>>> soup.find('div', id='price-panel').span.text.strip()
u'25,050.96'
作为替代方案,请考虑使用Yahoo Finance API,请参阅ystockquote
模块。